概述
這很重要,因為前沿模型擁有數千億個參數,沒有任何一個 GPU 能夠單獨保存或計算得足夠快。
深入探討
張量並行性(也稱為層內模型並行性)在 GPU 上分割各個權重矩陣,而不是將整個層放在單獨的裝置上。在 Transformer 中,大矩陣乘法(注意力投影和前饋 MLP)被拆分:例如,MLP 的第一個權重矩陣按列分區,第二個權重矩陣按行分區,因此每個 GPU 計算一個切片,然後單個 all-reduce 組合結果。注意力分散在多個頭中,每個 GPU 處理一個子集。由於每個 GPU 同時執行每一層的一部分,因此張量並行性會減少每個 GPU 的記憶體並加快運算速度,但它需要每層 GPU 之間進行頻繁的高頻寬通訊。這就是為什麼它通常被限制在由 NVLink 連接的節點內,並與管道和資料並行性相結合,以實現非常大的訓練和服務作業。
現實世界的實施
使用 Megatron-LM 將每一層的權重矩陣分片到一個 NVLink 連接節點中的 8 個 GPU 上,從而訓練 175B 參數模型。
在 vLLM 中使用 tensor_parallel_size=4 提供 70B 參數的聊天模型,以便權重適合四個 GPU 並即時回應。
將 Transformer 注意力頭拆分到 GPU 上,以便每個裝置計算一個子集,然後連接下一層的輸出。
結合節點內的張量平行性和跨節點的管道並行性,在大型 GPU 叢集上訓練萬億參數模型。
大型模型張量並行的未來
張量並行性仍然是基礎性的,但越來越多地融入「3D並行性」(張量+管道+數據),並與混合專家模型的專家並行性相結合。 Megatron-LM、DeepSpeed 和 vLLM 等框架可自動執行分片。隨著 GPU 互連(NVLink、NVSwitch)和光學結構變得更快,節點邊界限制放寬,允許更廣泛的張量並行組。期望更聰明的自動並行化,選擇分片尺寸和群組大小,以最大限度地減少給定集群拓撲的通訊。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是大型模型的張量並行性?
將單一神經網路層內的數學分割到多個 GPU 上的方法,這樣對於一個裝置來說太大的模型仍然可以運作。這很重要,因為前沿模型擁有數千億個參數,沒有任何一個 GPU 能夠單獨保存或計算得足夠快。
GPU 之間的張量平行性有何不同?
張量(層內)並行性將層內的權重矩陣進行分片,因此每個 GPU 都計算同一層的一部分,這與管道並行性不同,管道並行性將整個層放置在不同的 GPU 上。
在威震天式 MLP 分割中,兩個權重矩陣如何劃分以最小化通訊?
按列分割第一個矩陣可以讓每個 GPU 在本地應用非線性;將第二個按行拆分意味著單一全歸約對部分輸出求和,從而最大限度地減少同步。
為什麼張量並行性通常保留在單一節點內?
每層都會觸發集體通訊(全歸約),因此對延遲敏感的流量需要快速的節點內連結(如 NVLink),而不是較慢的節點間網路。
在張量並行下,注意力機制通常是如何並行的?
注意力頭是獨立的,因此它們分佈在 GPU 上——每個設備計算一些頭,然後組合輸出。
在張量並行中,什麼集體操作通常會組合部分結果?
All-reduce 對每個 GPU 上計算的部分輸出求和,以便它們就該層的結果達成一致;在前向和後向傳遞中,每層都會發生多次這種情況。