引导式测验 · 硬 等级

模型和管道并行性测验

解释张量和管道分区、激活传输、微批量调度、管道气泡和通信权衡。

相关引导路径模型和管道并行性
问题 1 的 8

模型和管道并行性解决了什么基本问题？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 模型和管道并行性解决了什么基本问题？
    • 模型太大，无法容纳单个 GPU 内存
    • 从磁盘加载数据缓慢
    • 训练期间梯度爆炸
    • 可用的训练示例太少
  2. 张量（层内）并行分割如何工作？
    • 它将整个层分配给不同的 GPU
    • 它将层内的数学拆分为多个 GPU，就像矩阵乘法一样
    • 它在每个 GPU 上复制每一层
    • 为了冗余，每层运行两次
  3. 简单的管道并行性中的“泡沫”是什么？
    • 随着时间的推移，内存泄漏会越来越严重
    • 优化器状态的重复副本
    • 下游 GPU 等待上游阶段产生激活的空闲时间
    • 梯度值出现峰值
  4. 管道并行如何减少气泡？
    • 通过使用较小的学习率
    • 通过从模型中删除一些层
    • 通过将激活存储在 CPU 上
    • 通过将每个批次分成微批次，以交错的方式流经各个阶段
  5. 为什么张量并行性通常保留在单个节点内？
    • 因为它频繁地对部分结果进行全归约得益于 NVLink 等快速节点内链接
    • 因为不需要任何沟通
    • 因为节点根本无法共享数据
    • 因为它只支持一个GPU
  6. 哪个框架因 Transformer 训练中的张量并行性而闻名？
    • scikit学习
    • NVIDIA威震天-LM
    • 开放式计算机视觉
    • 熊猫
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation