概述
沒有這些,現今的前沿模型根本無法在記憶體中容納,也無法在合理時間內完成訓練。
深入探討
在一個 GPU 上訓練大型模型是不可能的,因為權重、梯度和優化器狀態不適合。這些堆疊將工作分配給許多 GPU。 Megatron-LM 開創了張量並行性,在 GPU 上的每一層內切片單獨的矩陣乘法,以及管道並行性,將不同的層放在不同的 GPU 上。 DeepSpeed 的標誌性貢獻是 ZeRO(零冗餘優化器),它將優化器狀態、梯度和參數跨 GPU 分片而不是複製它們,從而大幅削減每個 GPU 的記憶體。兩者經常結合(Megatron-DeepSpeed)來訓練 BLOOM-176B 和 Megatron-Turing NLG 等模型。他們還添加了混合精度、激活檢查點和卸載到 CPU 或 NVMe,因此大型模型可以在有限的硬體上進行訓練。
現實世界的實施
使用跨數百個 GPU 的組合 Megatron-DeepSpeed 堆疊來訓練開放式多語言 BLOOM-176B 模型。
Microsoft 和 NVIDIA 使用 3D 平行訓練 5,300 億參數的 Megatron-Turing NLG 模型。
ZeRO-Offload 讓研究人員透過將優化器狀態溢位到 CPU RAM 來微調單一工作站 GPU 上的數十億參數模型。
在這些堆疊中使用激活檢查點,透過重新計算激活而不是儲存全部激勵來適應更長的上下文視窗。
DeepSpeed 和 Megatron 訓練堆疊的未來
預計與 PyTorch 的原生 FSDP(完全分片資料並行)進行更緊密的集成,它吸收了許多 ZeRO 思想,模糊了研究堆疊和核心框架之間的界限。編譯器驅動的方法和自動並行規劃器旨在消除手動調整。隨著訓練集群成長到數十萬個加速器,容錯、彈性擴展和與運算的重疊通訊成為主要的工程前沿,同時支援 NVIDIA Blackwell 和客製化訓練晶片等新硬體。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是深速與密卡登訓練疊加?
DeepSpeed (Microsoft) 和 Megatron-LM (NVIDIA) 是軟體堆疊,使數千個 GPU 的數十億參數的訓練模型變得切實可行。如果沒有它們,今天的前沿模型根本無法適應記憶體或在合理的時間內完成訓練。
DeepSpeed 的 ZeRO 優化器的主要目的是什麼?
ZeRO(零冗餘優化器)透過跨 GPU 劃分優化器狀態、梯度和參數而不是在每個裝置上複製它們來消除記憶體冗餘。
Megatron-LM 中首創的張量並行如何分割模型?
張量並行性將單一層內的數學(例如大型矩陣乘法)跨多個 GPU 進行劃分,這就是層內分割。
哪個 ZeRO 階段透過對模型參數本身進行分片來提供最大的記憶體節省?
除了梯度和優化器狀態之外,ZeRO Stage 3 還對參數進行分片,按需收集它們,從而最大程度地減少記憶體。
在訓練過程中,「啟動檢查點」會犧牲什麼來節省記憶體?
激活檢查點儲存較少的中間激活,並在反向傳播期間重新計算它們,用額外的計算換取減少的記憶體。
為什麼這些技術的組合通常被稱為「3D 並行性」?
3D並行性堆疊了三種正交策略:資料並行性、張量(層內)並行性和管道(層間)並行性。