引導式測驗 · 中等 等級

數據並行性測驗

检查复制模型、梯度同步、批量大小、通信成本以及跨工作人员扩展培训的限制。

相關引導路徑數據並行性
問題 1 的 8

在標準資料並行性中,每個 GPU 保存什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在標準資料並行性中,每個 GPU 保存什麼?
    • 模型的完整副本,處理批次的不同部分
    • 模型層的不同切片
    • 僅優化器狀態,權重集中存儲
    • 模型的壓縮版本,參數較少
  2. 哪個通訊操作使模型副本每一步保持同步?
    • 廣播,將一個 GPU 的資料複製到所有其他 GPU
    • All-reduce,將所有 GPU 上的梯度進行平均
    • Scatter,在 GPU 之間分割數據
    • GPU之間不需要通信
  3. 普通数据并行中还存在哪些内存限制?
    • 完整模型自動跨 GPU 分片
    • 僅輸入批次使用設備內存
    • 每个 GPU 都会复制模型参数和优化器状态,从而限制适合的模型大小
    • 每個worker預設儲存不同的模型層
  4. NCCL 在选择集体算法时会考虑哪些因素?
    • 僅隨機種子和學習率
    • 僅模型參數總數
    • 優化器類型和驗證分數
    • 訊息大小和拓撲
  5. PyTorch DistributedDataParallel 如何隱藏通訊延遲?
    • 透過重疊梯度全歸約與正在進行的向後傳遞
    • 透過在交替步驟上跳過梯度同步
    • 透過將所有梯度壓縮為一個數字
    • 透過在 CPU 上運作前向傳播
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B 除以 W
    • B 乘以 W,在任何梯度累積因子之前
    • 始終剛好是 W 個樣本
    • The model parameter count divided by B
  7. 為什麼增加更多資料並行 GPU 可能無法按比例增加吞吐量?
    • All-reduce makes model parameters disappear
    • 該模型僅複製給一名工人
    • 梯度通訊、資料載入和同步增加了開銷
    • 更多的工人總是將全域批次減少到零
  8. 梯度累積讓資料並行訓練循環做什麼?
    • 自動在所有工作人員中分片參數
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • 在優化器更新之前合併多個微批次的梯度