聯繫我們

課程簡介

準備機器學習模型以進行部署

  • 使用 Docker 封裝模型
  • 從 TensorFlow 和 PyTorch 匯出模型
  • 版本控制與儲存考量

在 Kubernetes 上提供模型服務

  • 推論伺服器概觀
  • 部署 TensorFlow Serving 和 TorchServe
  • 設定模型端點

推論最佳化技術

  • 批次處理策略
  • 並發請求處理
  • 延遲與吞吐量調優

ML 工作負載自動縮放

  • 水平 Pod 自動縮放 (HPA)
  • 垂直 Pod 自動縮放 (VPA)
  • Kubernetes 事件驅動自動縮放 (KEDA)

GPU 配置與資源管理

  • 設定 GPU 節點
  • NVIDIA 裝置插件概觀
  • ML 工作負載的資源請求與限制

模型發布與釋出策略

  • 藍綠部署
  • 金丝雀發布模式
  • 用於模型評估的 A/B 測試

生產環境中 ML 的監控與可觀察性

  • 推論工作負載指標
  • 日誌記錄與追蹤實務
  • 儀表板與告警

安全性與可靠性考量

  • 保護模型端點安全
  • 網路策略與存取控制
  • 確保高可用性

總結與後續步驟

最低要求

  • 了解容器化應用程式工作流
  • 具備基於 Python 的機器學習模型經驗
  • 熟悉 Kubernetes 基礎概念

目標受眾

  • ML 工程師
  • DevOps 工程師
  • 平台工程團隊
 14 小時

人數


每位參與者的報價

客戶評論 (4)

即將到來的課程

課程分類