引导式测验 · 硬 等级

集体交流和 NCCL 测验

测试全归约、全收集、广播和归约分散角色、NCCL 身份、网络卸载以及一个小型求和归约示例。

相关引导路径集体沟通与NCCL
问题 1 的 8

all-reduce 操作在分布式训练中能完成什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. all-reduce 操作在分布式训练中能完成什么？
    • 它组合了所有 GPU 上的值，并为每个 GPU 提供组合结果
    • 它从一个 GPU 中删除冗余数据
    • 它降低 GPU 时钟速度以节省电量
    • 它将数据从所有 GPU 发送到单个存储磁盘
  2. 缩写词 NCCL 代表什么？
    • 神经计算集群层
    • 网络缓存控制逻辑
    • NVIDIA 集体通信库
    • 数值卷积计算库
  3. 为什么分块环形通信对大张量有用？
    • It guarantees constant latency for any number of devices
    • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
    • It makes topology irrelevant
    • It prevents all network contention
  4. 哪个集体操作将每个 GPU 的数据收集到所有 GPU 持有的完整副本中？
    • 广播
    • 减少分散
    • 屏障
    • 全员聚集
  5. 支持的网络归约卸载（如 SHARP）会做什么？
    • Guarantee exactly half the traffic for every collective
    • Remove the need for participating ranks
    • Perform some reduction work in compatible network hardware
    • Turn all-gather into a local memory copy
  6. NCCL 通常使用哪种互连来进行服务器（节点）之间的通信？
    • InfiniBand 或 RoCE
    • USB 电缆
    • 仅 PCIe 插槽
    • 无线网络
  7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
    • Only its own original value
    • 3 for the middle rank and nothing elsewhere
    • The average 3.33 unless requested separately
    • 10
  8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
    • 全员聚集
    • 减少分散
    • 广播
    • A standalone model checkpoint