概述
It lets people train far larger models than their GPU's memory would otherwise allow.
深入探討
當您使用 Adam 這樣的優化器訓練神經網路時,每個參數都會帶來額外的負擔:兩個運行統計資料(動量和方差),加上權重的全精度副本及其梯度。在混合精準度訓練中,每個參數總計約 16 個字節,使權重本身的 2 個位元組相形見絀。卸載將這些負擔從 GPU 上移除。 CPU 卸載透過 PCIe 匯流排將最佳化器狀態串流傳輸到普通系統 RAM,而 NVMe 卸載將它們一直推送到快速固態磁碟。這項技術因 DeepSpeed 的 ZeRO-Infinity 和 ZeRO-Offload 而流行,以原始速度換取容量,讓單一 GPU 或小型叢集能夠微調具有數十億個參數的模型。
現實世界的實施
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
優化器狀態卸載到 CPU 和 NVMe 的未來
隨著模型的 GPU 記憶體不斷增長,分層卸載正在成為標準而不是奇特的。預計與更快的互連(例如模糊 CPU-GPU 邊界的 NVLink-C2C 和 CXL 記憶體池)以及更聰明的調度程式(可以預測要預取的狀態)的更緊密整合。 Grace Hopper 等統一記憶體架構減少了 PCIe 損失,框架正在推動多層卸載幾乎透明,以便愛好者可以在適度的硬體上微調大型模型。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
What is Optimizer State Offloading to CPU and NVMe?
節省記憶體的技巧,將繁重的訓練記錄(優化器狀態、梯度,有時是權重)存放在 CPU RAM 或 NVMe SSD 上,而不是稀缺的 GPU 記憶體中。它可以讓人們訓練比 GPU 記憶體允許的更大的模型。
將優化器狀態卸載到 CPU 或 NVMe 的主要目標是什麼?
卸載將繁重的優化器狀態從 GPU 移至 CPU RAM 或 NVMe,從而釋放 GPU 內存,以便可以在同一硬體上訓練更大的模型。
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
哪個框架功能普及了大規模優化器卸載?
DeepSpeed 的 ZeRO-Offload 和 ZeRO-Infinity 大規模引入並推廣了 CPU 和 NVMe 的卸載優化器狀態。
卸載到 CPU 或 NVMe 的主要效能成本是什麼?
將狀態移出 GPU 意味著透過 PCIe 或 NVMe 傳輸數據,這比 GPU 記憶體上的速度慢,因此除非與計算重疊,否則吞吐量會下降。
卸載系統如何隱藏大部分傳輸延遲?
當 GPU 仍在運算時,調度程式透過 PCIe 預取所需的分割區,將通訊與運算重疊以掩蓋延遲。