NVLink 和 GPU 互連
NVLink 和相關互連是高速鏈路，可讓許多 GPU 直接快速地相互通訊。
概述
它們至關重要，因為訓練和服務最大的 AI 模型需要數百或數千個 GPU 才能像巨大的加速器一樣運作。
深入探討
單一 GPU 無法容納最大的模型，因此它們被分成許多晶片，這些晶片必須不斷交換數據，例如權重、梯度和啟動。標準 PCIe 總線對此來說速度太慢，因此 NVIDIA 創建了 NVLink，這是 GPU 到 GPU 的直接鏈接，可提供更高的頻寬和更低的延遲。 NVSwitch 晶片將其擴展到一種結構中，以便伺服器中的每個 GPU 都可以全速存取其他 GPU，從而將八個 GPU 變成一個大型記憶體和計算池。在機架規模上，像 NVIDIA 的 NVL72 這樣的系統透過統一的 NVLink 域連接數十個 GPU。除了單一機架之外，InfiniBand 和乙太網路（通常使用 RDMA）等網路技術還將數千個節點連接到一個叢集中。這些互連的品質直接限制了模型的訓練規模和速度。
技術洞察
NVLink 在 GPU 之間提供專用的點對點通道，其頻寬是 PCIe 的許多倍並且延遲更低，讓 GPU 幾乎可以像讀取本地記憶體一樣讀取彼此的記憶體。 NVSwitch 的作用就像一個高速交叉開關，因此節點中的所有 GPU 都可以在全頻寬下進行無阻塞通訊。諸如 all-reduce 之類的集體操作（在訓練期間對 GPU 上的梯度求和）在這種結構上運行速度要快得多，這就是為什麼互連頻寬強烈影響訓練擴展到多個晶片的程度。
戰略影響
成本與預算
多年來，架構決策決定著效能和營運成本。
更明確的決策
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
品質管控
更好的工程選擇可以減少生產中的可靠性事故。
NVLink 和 GPU 互連的未來
隨著模型的發展超出了單一伺服器的範圍，互連正在成為系統。 NVLink 每一代都在不斷獲得頻寬，機架級 NVLink 域（如 NVL72）正在擴大作為一個 GPU 的數量。預計會有更大的統一域、計算和網路的更緊密耦合、可降低距離功率的光鏈路，以及業界在開放互連標準（例如 UALink）方面所做的努力，以與專有結構競爭。擴展人工智慧越來越依賴晶片之間的數據傳輸以及晶片本身。
現實世界的實施
透過 NVSwitch 連接一台伺服器（如 NVIDIA DGX 系統）內的八個 GPU，以便它們共享記憶體並一起訓練一個大型模型。
在分散式訓練期間跨 GPU 執行 all-reduce 梯度同步，並由 NVLink 頻寬加速。
將機架級 NVL72 系統中的數十個 GPU 連接到一個統一的 NVLink 域，以實現萬億參數模型。
使用 InfiniBand 或 RDMA-over-Ethernet 將數千台 GPU 伺服器連接到叢集中，以進行大規模基礎模型訓練。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實際負載和資料條件下進行基準測試。
儀器監控錯誤、漂移和使用者影響。
在擴展之前準備回滾和事件回應路徑。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the NVLink and GPU Interconnects quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
什麼是 NVLink 和 GPU 互連？
NVLink 和相關互連是高速鏈路，可讓許多 GPU 直接快速地相互通訊。它們至關重要，因為訓練和服務最大的 AI 模型需要數百或數千個 GPU 才能像巨大的加速器一樣運作。
為什麼大型 AI 車型需要像 NVLink 這樣的高速互連？
大型模型超出了單一 GPU 的容量，因此它們分佈在許多晶片上，這些晶片不斷共享權重、梯度和激活，需要快速連結。
與標準 PCIe 總線相比，NVLink 在 GPU 間通訊方面具有哪些優勢？
NVLink 是 GPU 到 GPU 的直接鏈接，具有比 PCIe 大得多的頻寬和更低的延遲，可實現晶片之間的快速資料交換。
NVSwitch 在多 GPU 伺服器中的作用是什麼？
NVSwitch 將 NVLink 擴展為非阻塞結構，讓節點中的所有 GPU 彼此全速通訊。
分散式訓練中常見的哪一種集體操作可以從快速互連中受益匪淺？
每個訓練步驟都進行 All-reduce 總和並在所有 GPU 上共享梯度，因此其速度在很大程度上取決於互連頻寬。
除了一台伺服器之外，通常還有哪些技術將數千個 GPU 節點連接到一個叢集中？
在叢集規模上，InfiniBand 或帶有 RDMA 的乙太網路等網路將許多節點連接在一起，補充了每個伺服器內的 NVLink。