引导式测验 · 硬 等级

优化器状态卸载到 CPU 和 NVMe 测验

应用优化器卸载内存核算、主机更新放置和传输权衡，包括为什么卸载不会删除所有 GPU 分配。

相关引导路径优化器状态卸载到 CPU 和 NVMe
问题 1 的 8

将优化器状态卸载到 CPU 或 NVMe 的主要目标是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 将优化器状态卸载到 CPU 或 NVMe 的主要目标是什么？
    • 为了使模型更加准确
    • 减少所需的训练时期数
    • 完全消除对渐变的需要
    • 通过释放稀缺的 GPU 内存来适应更大的模型
  2. 对于一个具有两个 FP32 矩和一个 FP32 主权重的 Adam 配置，这三个值每个参数占用多少内存？
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. 哪个框架功能普及了大规模优化器卸载？
    • 新的激活函数
    • JPEG 图像压缩
    • DeepSpeed ZeRO-Offload 和 ZeRO-Infinity
    • 渐变裁剪
  4. 卸载到 CPU 或 NVMe 的主要性能成本是什么？
    • 数据必须通过 PCIe 等较慢的链路传输或传输到磁盘，从而增加延迟
    • 模型忘记了之前的训练
    • 优化器在数学上变得不正确
    • GPU温度降得太低
  5. 卸载系统如何隐藏大部分传输延迟？
    • 通过跳过向后传递
    • 通过将数据预取与正在进行的 GPU 计算重叠
    • 一次仅训练一个参数
    • 通过禁用混合精度
  6. 在ZeRO-Offload中，Adam优化器步骤经常在哪里执行？
    • 完全位于 NVMe 控制器上
    • 在单独的显示 GPU 上
    • 在CPU上，使用存储在那里的主权重和力矩
    • 网络交换机内部
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time