概述
它可以提升較小工作負載的共享效能,但支援的配置檔與隔離邊界取決於 GPU 與設定。
深入探討
MIG 於 NVIDIA A100 推出,並在部分後續 GPU 上支援。GPU 實例將計算與專用記憶體資源分組,包括經由快取與記憶體硬體分配的路徑。在 A100 40 GB 上,支援的佈局可提供多達七個小型 GPU 實例或較少數量的大型實例。計算實例可進一步在 GPU 實例內部分割計算資源,同時共享其記憶體資源。這與普通軟體時間切片不同,但並不意味著能完全避免所有裝置層級的錯誤或在更廣泛的主機與服務中產生干擾。工作負載容量、支援的配置檔與操作限制應在實際 GPU 上進行測試。
現實世界的實施
一家雲端供應商將一個 A100 拆分為七個實例,以便七個客戶每個都獲得一個有保證的、獨立的 GPU 切片用於推理。
大學研究群集為每位博士生提供一個 10GB MIG 實例用於原型設計,而不是獨佔整張卡。
推理服務將多個小型語言和視覺模型打包到一個 H100 上,每個模型都位於自己的分區中,具有可預測的延遲。
Kubernetes 叢集將 MIG 執行個體宣傳為可調度資源,因此 Pod 會像任何其他資源一樣要求「nvidia.com/mig-1g.5gb」。
多執行個體 GPU 分割區的未來
隨著 GPU 成長到 80GB、141GB 甚至更高,分割區變得更具吸引力,因為單一型號很少需要整張卡進行推理。期待更緊密的 Kubernetes 和雲端整合、無需耗盡節點的動態重新分區以及更細粒度的設定檔。競爭廠商正在追求類似的 SR-IOV 式 GPU 虛擬化,無伺服器推理平台越來越依賴分區來密集打包許多模型並減少閒置浪費。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是多重實例 GPU 分割?
NVIDIA 多重實例 GPU 將支援的 GPU 分割成具有指定計算與記憶體資源的實例。它可以提升較小工作負載的共享效能,但支援的配置檔與隔離邊界取決於 GPU 與設定。
哪個資源邊界區分獨立的 MIG GPU 實例與軟體時間切片?
MIG 分配硬體資源切片。共享 GPU 實例內的計算實例具有不同的邊界,且裝置層級的錯誤並非普遍消除。
MIG 首次在哪種 NVIDIA 架構上推出?
MIG 首次推出基於 Ampere 的 A100,並在 H100 和後來的資料中心 GPU 上繼續發展。
在 A100 40 GB 上使用支援的小型實例配置檔,佈局最多可提供多少個 GPU 實例?
A100 支援最多七個 GPU 實例的佈局。最大數量與配置檔不應泛化至所有 GPU 型號。
在「1g.5gb」這樣的 MIG 設定檔中,「5gb」代表什麼?
此設定檔對分配給實例的計算切片 (1g) 和專用記憶體 (5GB) 進行編碼。
MIG 特別適合哪種工作負載?
當許多小型、孤立的工作負載(例如推理)共享一張卡並保證服務品質時,MIG 就會大放異彩。