概述
對於機器學習,它可以讓團隊將需要 GPU 的訓練作業和延遲敏感的模型伺服器打包到共享硬體上,而無需照顧單獨的伺服器。
深入探討
Kubernetes 最初是在 Google 上建置的,用於運行 Web 服務,它將您的叢集視為由 CPU、記憶體和 GPU 組成的大池,然後決定哪台機器運行每個容器。 ML 團隊之所以依賴它,是因為工作負載是突發性的且成本高昂:訓練運行可能需要 8 個 GPU 持續 6 個小時,然後什麼都不需要。 Kubernetes 將該 pod 調度到具有空閒 GPU 的節點上,當作業完成時,它會釋放硬體。它還使推理伺服器保持活動狀態,重新啟動崩潰的容器並在電腦之間傳播副本以實現彈性。 Kubeflow、Ray 和 KServe 等構建於其之上的工具添加了特定於 ML 的部分,例如分散式訓練運算符、超參數調整和自動縮放模型端點,因此資料科學家可以使用更高層級的抽象化而不是原始 YAML。
現實世界的實施
研究實驗室使用 Kubeflow Training Operator 在四個節點上啟動 32-GPU PyTorch 分散式訓練作業,然後在收斂時自動釋放 GPU。
一家電子商務公司透過 KServe 提供其推薦模型,該模型會在閃購期間自動擴展副本,並在一夜之間回落。
一家銀行以 Kubernetes CronJobs 的形式運行夜間批次評分作業,將它們在備用 CPU 節點上排隊,這樣它們就不會與白天的服務流量競爭。
一家新創公司使用 Kubernetes 上的 Ray 來運行並行超參數掃描,在現場實例上啟動數十個短期試用 Pod 以降低成本。
ML 工作負載的 Kubernetes 的未來
團隊可以結合佇列准入、適當的 GPU 資源曝光,以及具拓撲感知的放置,與他們的機器學習工作負載控制器一起使用。群組准入有助於避免部分工作者分配,而模型伺服器則可在適當的服務配置下支援零規模。這些行為取決於已安裝的元件與設定。操作員應測試復原、資源限制、互連以及冷啟動延遲,而不是假設容器編排器本身就提供所有訓練或服務功能。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是適用於機器學習工作負載的 Kubernetes?
Kubernetes 是一個開源系統,可以跨機器叢集自動調度、擴展和重新啟動容器化程式。對於機器學習,它可以讓團隊將需要 GPU 的訓練作業和延遲敏感的模型伺服器打包到共享硬體上,而無需照顧單獨的伺服器。
Kubernetes 調度程式針對 ML 工作負載的主要工作是什麼?
調度程式將 Pod 的資源請求(CPU、記憶體、GPU)與可用節點進行匹配,並將 Pod 放置在適合的位置。它不涉及模型代碼或數據。
Kubernetes 通常如何為 Pod 提供 GPU 可用?
裝置外掛程式將 GPU 作為可調度資源(例如 nvidia.com/gpu)公開,讓 Pod 請求它們並讓排程器追蹤可用性。
在 GPU 節點上設定 NoSchedule 污點時,符合條件的 Pod 容忍度會怎麼作用?
容忍度會移除相符的污點障礙。其他資源與排程需求仍然會被套用。
哪個工具增加了 ML 特定的功能,例如在 Kubernetes 之上的分散式訓練運算子?
Kubeflow 將 ML 工作流程分層到 Kubernetes 上,包括訓練運算子、管道和調整,因此團隊可以避免手寫低階叢集配置。
為什麼 Kubernetes 非常適合突發性機器學習工作負載?
訓練過程非常激烈:短暫使用大量 GPU,然後就沒有了。 Kubernetes 在資源空閒時放置作業,並在完成後釋放它們,從而提高使用率。