引導式測驗 · 硬 等級

完全分片資料並行測驗

涵蓋大型分散式模型訓練中的 FSDP 分片、全收集和減少分散、通訊重疊以及記憶體與網路權衡。

相關引導路徑完全分片數據並行
問題 1 的 8

FSDP 可以跨 GPU 分片,而標準資料並行性則不能?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. FSDP 可以跨 GPU 分片,而標準資料並行性則不能?
    • 参数、梯度和优化器状态
    • 僅輸入批次
    • 僅學習率表
    • 磁盘上的训练数据集文件
  2. FSDP 在計算之前使用哪種集體操作來重建層的完整權重?
    • 僅限廣播
    • 全員聚集
    • 分散
    • 屏障
  3. 為什麼 FSDP 在一層計算後立即釋放收集到的全部權重?
    • 破壞未使用的漸變
    • 強制減慢訓練循環
    • 將永久記憶體佔用保持在每個裝置上只有一個分片
    • 因为 PyTorch 会随机删除它们
  4. FSDP 主要受到哪種早期記憶體最佳化方法的啟發?
    • Google 的 MapReduce
    • Apache Spark RDD
    • NVIDIA 的 CUDA 核心
    • Microsoft 的 ZeRO(零冗餘優化器)
  5. FSDP 如何隱藏大部分網路延遲以防止收集權重?
    • 透過重疊通訊和計算,預先取下一層的參數
    • 透過禁用向後傳遞
    • 通过将权重压缩到一位
    • 仅在 CPU 上进行训练
  6. 哪一個集體操作在後向傳遞中將組合的梯度切片分配回其所屬的 GPU?
    • 全部複製
    • 減少分散
    • 單GPU副本
    • 僅限聚集
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication