深入探討
在標準資料並行模式中,每個工作節點都持有一個模型副本,處理本地批次,並參與梯度同步。這可以提升吞吐量,但每個副本仍需要記憶體來存放模型和優化器狀態。PyTorch DistributedDataParallel 會同步梯度,並能將通訊與反向計算重疊。擴充效能取決於計算、通訊、批次大小、網路拓撲與輸入管線;增加 GPU 並不保證吞吐量成比例提升。
現實世界的實施
在多個 GPU 上複製模型,並將每個批次分配給不同的工作者。
使用梯度累積在多個步驟中增加有效批次大小。
隨著工作者數量增加,對 all-reduce 通訊進行效能分析。
比較在相同模型、批次與硬體下的擴充效率。
數據並行的未來
分散式訓練仍然結合資料、張量與管線並行。請在目標系統上測試吞吐量與收斂,而非假設理想線性擴充。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是資料並行?
資料平行化將模型複製到多個工作節點,並為每個工作節點提供不同的範例,在訓練期間同步梯度或參數。
在標準資料並行性中,每個 GPU 保存什麼?
每個 GPU 都保留模型的完整副本,並處理資料批次的不同部分,這就是它的「資料」並行性而不是模型並行性的原因。
哪個通訊操作使模型副本每一步保持同步?
每次向後傳遞後,梯度都會透過 all-reduce 跨裝置進行組合(通常先求和然後求平均值),因此每個副本都會套用相同的更新。
普通数据并行中还存在哪些内存限制?
建議的指南稱,普通 DDP 在每個裝置上複製模型參數和最佳化器狀態;因此,資料並行性不會對模型進行分片以適應更大的檢查點。
NCCL 在选择集体算法时会考虑哪些因素?
NCCL 文件以集合、訊息大小與系統拓撲來描述演算法選擇。
PyTorch DistributedDataParallel 如何隱藏通訊延遲?
DDP 開始同步較早層的梯度,而較晚的層仍在計算中,從而使網路通訊與計算重疊。