引导式测验 · 硬 等级

大型模型的张量并行性测验

检查张量并行性如何对层矩阵进行分片、组合部分输出、分割注意力头以及如何适应多轴并行性。

相关引导路径大型模型的张量并行性
问题 1 的 8

GPU 之间的张量并行性有何不同？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. GPU 之间的张量并行性有何不同？
    • 单层内的权重矩阵
    • 整个层放置在单独的 GPU 上
    • 不同的训练数据集
    • 优化器学习率
  2. 在威震天式 MLP 分割中，两个权重矩阵如何划分以最小化通信？
    • 均按列
    • 第一个按列，第二个按行
    • 均按行排列
    • 它们根本没有分区
  3. 为什么张量并行性通常保留在单个节点内？
    • 节点无法运行 GPU
    • 不同节点中的 GPU 使用不同的数学运算
    • 它需要频繁的高带宽通信，最好由 NVLink 提供服务
    • 这是法律要求
  4. 在张量并行下，注意力机制通常是如何并行的？
    • 通过为每个 GPU 提供冗余的完整注意力计算
    • 完全忽略注意力
    • 通过将注意力转换为卷积
    • 通过分割注意力头，每个 GPU 处理一个子集
  5. 在张量并行中，什么集体操作通常组合部分结果？
    • 全部归约
    • 文件副本
    • 数据库连接
    • DNS 查找
  6. 张量并行通常如何适应“3D 并行”？
    • 它取代了所有其他形式的并行性
    • 它与管道和数据并行相结合
    • 它只有在没有任何其他并行性的情况下才有效
    • 它仅用于图像模型
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates