技術指南

用於 ML 工作負載的 Kubernetes

Kubernetes 是一個開源系統,可以跨機器叢集自動調度、擴展和重新啟動容器化程式。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. ML 工作負載的 Kubernetes 的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

對於機器學習,它可以讓團隊將需要 GPU 的訓練作業和延遲敏感的模型伺服器打包到共享硬體上,而無需照顧單獨的伺服器。

深入探討

Kubernetes 最初是在 Google 上建置的,用於運行 Web 服務,它將您的叢集視為由 CPU、記憶體和 GPU 組成的大池,然後決定哪台機器運行每個容器。 ML 團隊之所以依賴它,是因為工作負載是突發性的且成本高昂:訓練運行可能需要 8 個 GPU 持續 6 個小時,然後什麼都不需要。 Kubernetes 將該 pod 調度到具有空閒 GPU 的節點上,當作業完成時,它會釋放硬體。它還使推理伺服器保持活動狀態,重新啟動崩潰的容器並在電腦之間傳播副本以實現彈性。 Kubeflow、Ray 和 KServe 等構建於其之上的工具添加了特定於 ML 的部分,例如分散式訓練運算符、超參數調整和自動縮放模型端點,因此資料科學家可以使用更高層級的抽象化而不是原始 YAML。

現實世界的實施

研究實驗室使用 Kubeflow Training Operator 在四個節點上啟動 32-GPU PyTorch 分散式訓練作業,然後在收斂時自動釋放 GPU。

一家電子商務公司透過 KServe 提供其推薦模型,該模型會在閃購期間自動擴展副本,並在一夜之間回落。

一家銀行以 Kubernetes CronJobs 的形式運行夜間批次評分作業,將它們在備用 CPU 節點上排隊,這樣它們就不會與白天的服務流量競爭。

一家新創公司使用 Kubernetes 上的 Ray 來運行並行超參數掃描,在現場實例上啟動數十個短期試用 Pod 以降低成本。

ML 工作負載的 Kubernetes 的未來

團隊可以結合佇列准入、適當的 GPU 資源曝光,以及具拓撲感知的放置,與他們的機器學習工作負載控制器一起使用。群組准入有助於避免部分工作者分配,而模型伺服器則可在適當的服務配置下支援零規模。這些行為取決於已安裝的元件與設定。操作員應測試復原、資源限制、互連以及冷啟動延遲,而不是假設容器編排器本身就提供所有訓練或服務功能。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Kubernetes for ML Workloads 小測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是適用於機器學習工作負載的 Kubernetes?

Kubernetes 是一個開源系統,可以跨機器叢集自動調度、擴展和重新啟動容器化程式。對於機器學習,它可以讓團隊將需要 GPU 的訓練作業和延遲敏感的模型伺服器打包到共享硬體上,而無需照顧單獨的伺服器。

Kubernetes 調度程式針對 ML 工作負載的主要工作是什麼?

調度程式將 Pod 的資源請求(CPU、記憶體、GPU)與可用節點進行匹配,並將 Pod 放置在適合的位置。它不涉及模型代碼或數據。

Kubernetes 通常如何為 Pod 提供 GPU 可用?

裝置外掛程式將 GPU 作為可調度資源(例如 nvidia.com/gpu)公開,讓 Pod 請求它們並讓排程器追蹤可用性。

在 GPU 節點上設定 NoSchedule 污點時,符合條件的 Pod 容忍度會怎麼作用?

容忍度會移除相符的污點障礙。其他資源與排程需求仍然會被套用。

哪個工具增加了 ML 特定的功能,例如在 Kubernetes 之上的分散式訓練運算子?

Kubeflow 將 ML 工作流程分層到 Kubernetes 上,包括訓練運算子、管道和調整,因此團隊可以避免手寫低階叢集配置。

為什麼 Kubernetes 非常適合突發性機器學習工作負載?

訓練過程非常激烈:短暫使用大量 GPU,然後就沒有了。 Kubernetes 在資源空閒時放置作業,並在完成後釋放它們,從而提高使用率。