概述
它們至關重要,因為訓練和服務最大的 AI 模型需要數百或數千個 GPU 才能像巨大的加速器一樣運作。
深入探討
單一 GPU 無法容納最大的模型,因此它們被分成許多晶片,這些晶片必須不斷交換數據,例如權重、梯度和啟動。標準 PCIe 總線對此來說速度太慢,因此 NVIDIA 創建了 NVLink,這是 GPU 到 GPU 的直接鏈接,可提供更高的頻寬和更低的延遲。 NVSwitch 晶片將其擴展到一種結構中,以便伺服器中的每個 GPU 都可以全速存取其他 GPU,從而將八個 GPU 變成一個大型記憶體和計算池。在機架規模上,像 NVIDIA 的 NVL72 這樣的系統透過統一的 NVLink 域連接數十個 GPU。除了單一機架之外,InfiniBand 和乙太網路(通常使用 RDMA)等網路技術還將數千個節點連接到一個叢集中。這些互連的品質直接限制了模型的訓練規模和速度。
現實世界的實施
透過 NVSwitch 連接一台伺服器(如 NVIDIA DGX 系統)內的八個 GPU,以便它們共享記憶體並一起訓練一個大型模型。
在分散式訓練期間跨 GPU 執行 all-reduce 梯度同步,並由 NVLink 頻寬加速。
將機架級 NVL72 系統中的數十個 GPU 連接到一個統一的 NVLink 域,以實現萬億參數模型。
使用 InfiniBand 或 RDMA-over-Ethernet 將數千台 GPU 伺服器連接到叢集中,以進行大規模基礎模型訓練。
NVLink 和 GPU 互連的未來
隨著模型的發展超出了單一伺服器的範圍,互連正在成為系統。 NVLink 每一代都在不斷獲得頻寬,機架級 NVLink 域(如 NVL72)正在擴大作為一個 GPU 的數量。預計會有更大的統一域、計算和網路的更緊密耦合、可降低距離功率的光鏈路,以及業界在開放互連標準(例如 UALink)方面所做的努力,以與專有結構競爭。擴展人工智慧越來越依賴晶片之間的數據傳輸以及晶片本身。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 NVLink 和 GPU 互連?
NVLink 和相關互連是高速鏈路,可讓許多 GPU 直接快速地相互通訊。它們至關重要,因為訓練和服務最大的 AI 模型需要數百或數千個 GPU 才能像巨大的加速器一樣運作。
為什麼大型 AI 車型需要像 NVLink 這樣的高速互連?
大型模型超出了單一 GPU 的容量,因此它們分佈在許多晶片上,這些晶片不斷共享權重、梯度和激活,需要快速連結。
與標準 PCIe 總線相比,NVLink 在 GPU 間通訊方面具有哪些優勢?
NVLink 是 GPU 到 GPU 的直接鏈接,具有比 PCIe 大得多的頻寬和更低的延遲,可實現晶片之間的快速資料交換。
NVSwitch 在多 GPU 伺服器中的作用是什麼?
NVSwitch 將 NVLink 擴展為非阻塞結構,讓節點中的所有 GPU 彼此全速通訊。
分散式訓練中常見的哪一種集體操作可以從快速互連中受益匪淺?
每個訓練步驟都進行 All-reduce 總和並在所有 GPU 上共享梯度,因此其速度在很大程度上取決於互連頻寬。
除了一台伺服器之外,通常還有哪些技術將數千個 GPU 節點連接到一個叢集中?
在叢集規模上,InfiniBand 或帶有 RDMA 的乙太網路等網路將許多節點連接在一起,補充了每個伺服器內的 NVLink。