引导式测验 · 硬 等级

MoE 服务测验的专家并行性

测试 MoE 专家放置、代币分配和负载不平衡，包括所选专家和通信如何影响分布式推理。

相关引导路径Moe 服务的专家并行性
问题 1 的 8

专家并行在 GPU 上的分布是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 专家并行在 GPU 上的分布是什么？
    • 完整模型的副本以实现冗余
    • 仅限个人关注头
    • MoE层的不同前馈专家
    • 嵌入表的层数
  2. 哪种通信模式对于 MoE 专家并行性至关重要？
    • 两次全对全交换（调度和合并）
    • 单次广播
    • 点对点梯度同步
    • 无需沟通
  3. 尽管总参数巨大，为什么 MoE 仍保持每个代币的计算量较低？
    • 它将权重压缩到 1 位
    • 它跳过了注意力层
    • 专家分享他们所有的权重
    • 每个代币仅运行前 k 个选定的专家
  4. 由于路由依赖于数据会产生什么问题？
    • 梯度爆炸
    • 负载不平衡，一些专家获得更多代币
    • 路由器无法训练
    • 代币失去了位置嵌入
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. 系统如何隐藏所有步骤的延迟？
    • 通过在 CPU 上运行
    • 通过删除组合步骤
    • 通过提高学习率
    • 通过与专家计算重叠通信
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory