引導式測驗 · 中等 等級
數據並行性測驗
检查复制模型、梯度同步、批量大小、通信成本以及跨工作人员扩展培训的限制。
問題 1 的 8
在標準資料並行性中,每個 GPU 保存什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在標準資料並行性中,每個 GPU 保存什麼?
- 模型的完整副本,處理批次的不同部分
- 模型層的不同切片
- 僅優化器狀態,權重集中存儲
- 模型的壓縮版本,參數較少
- 哪個通訊操作使模型副本每一步保持同步?
- 廣播,將一個 GPU 的資料複製到所有其他 GPU
- All-reduce,將所有 GPU 上的梯度進行平均
- Scatter,在 GPU 之間分割數據
- GPU之間不需要通信
- 普通数据并行中还存在哪些内存限制?
- 完整模型自動跨 GPU 分片
- 僅輸入批次使用設備內存
- 每个 GPU 都会复制模型参数和优化器状态,从而限制适合的模型大小
- 每個worker預設儲存不同的模型層
- NCCL 在选择集体算法时会考虑哪些因素?
- 僅隨機種子和學習率
- 僅模型參數總數
- 優化器類型和驗證分數
- 訊息大小和拓撲
- PyTorch DistributedDataParallel 如何隱藏通訊延遲?
- 透過重疊梯度全歸約與正在進行的向後傳遞
- 透過在交替步驟上跳過梯度同步
- 透過將所有梯度壓縮為一個數字
- 透過在 CPU 上運作前向傳播
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B 除以 W
- B 乘以 W,在任何梯度累積因子之前
- 始終剛好是 W 個樣本
- The model parameter count divided by B
- 為什麼增加更多資料並行 GPU 可能無法按比例增加吞吐量?
- All-reduce makes model parameters disappear
- 該模型僅複製給一名工人
- 梯度通訊、資料載入和同步增加了開銷
- 更多的工人總是將全域批次減少到零
- 梯度累積讓資料並行訓練循環做什麼?
- 自動在所有工作人員中分片參數
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- 在優化器更新之前合併多個微批次的梯度