引导式测验 · 硬 等级

完全分片数据并行测验

涵盖大型分布式模型训练中的 FSDP 分片、全收集和减少分散、通信重叠以及内存与网络权衡。

相关引导路径完全分片数据并行
问题 1 的 8

FSDP 可以跨 GPU 分片，而标准数据并行性则不能？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. FSDP 可以跨 GPU 分片，而标准数据并行性则不能？
    • 参数、梯度和优化器状态
    • 仅输入批次
    • 仅学习率表
    • 磁盘上的训练数据集文件
  2. FSDP 在计算之前使用哪种集体操作来重建层的完整权重？
    • 仅限广播
    • 全员聚集
    • 分散
    • 屏障
  3. 为什么 FSDP 在一层计算后立即释放收集到的全部权重？
    • 破坏未使用的渐变
    • 强制减慢训练循环
    • 将永久内存占用保持在每个设备上只有一个分片
    • 因为 PyTorch 会随机删除它们
  4. FSDP 主要受到哪种早期内存优化方法的启发？
    • Google 的 MapReduce
    • Apache Spark RDD
    • NVIDIA 的 CUDA 核心
    • Microsoft 的 ZeRO（零冗余优化器）
  5. FSDP 如何隐藏大部分网络延迟以防止收集权重？
    • 通过重叠通信和计算，预取下一层的参数
    • 通过禁用向后传递
    • 通过将权重压缩到一位
    • 仅在 CPU 上进行训练
  6. 哪个集体操作在后向传递中将组合的梯度切片分配回其所属的 GPU？
    • 全部复制
    • 减少分散
    • 单GPU副本
    • 仅限聚集
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication