引导式测验 · 硬 等级
DeepSpeed 和 Megatron 训练堆栈测验
检查 ZeRO 分片阶段、张量和管道并行性、激活检查点、卸载和组合 3D 并行训练。
问题 1 的 8
DeepSpeed 的 ZeRO 优化器的主要目的是什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- DeepSpeed 的 ZeRO 优化器的主要目的是什么？
- 跨 GPU 对优化器状态、梯度和参数进行分片以节省内存
- 压缩最终模型以进行部署
- 在框架之间转换模型
- 自动标记训练数据
- Megatron-LM 中首创的张量并行如何分割模型？
- 通过将不同的层放在不同的 GPU 上
- 通过跨 GPU 分割层内的各个矩阵乘法
- 通过为每个 GPU 提供不同批次的数据
- 通过在不同的 GPU 上存储不同的时间步
- 管道并行与张量并行不同，因为它通过以下方式分割模型：
- 每层内的矩阵切片
- 在每个 GPU 上复制整个模型
- 将不同的层（阶段）分配给不同的 GPU
- 量化权重以降低精度
- 哪个 ZeRO 阶段通过对模型参数本身进行分片来提供最大的内存节省？
- 第一阶段
- 第二阶段
- 阶段0
- 第三阶段
- 在训练过程中，“激活检查点”会牺牲什么来节省内存？
- 通过在向后传递期间重新计算激活来进行额外计算
- 模型精度
- 网络带宽
- 层数
- 为什么这些技术的组合通常被称为“3D 并行性”？
- 它仅适用于 3D 显卡
- 它沿三个轴结合了数据、张量和管道并行性
- 最多使用三个 GPU
- 它以三个维度渲染模型
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- 阶段0
- 第二阶段
- 第一阶段
- 第三阶段
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget