混合专家测验

当您参加测验时，就会出现答案和解释。

1. 在专家混合层中，什么决定哪些专家处理给定的令牌？
   • 一个对专家进行评分的小型学习路由器（门控网络）
   • 训练前设置固定的查找表
   • 用户的提示长度
   • 每一步随机抽取
2. 为什么 MoE 模型的总参数比密集模型多得多，而每个代币的成本却没有相应增加？
   • 它将参数压缩为单个共享权重
   • 它完全跳过注意力层
   • 每个代币仅激活少数专家（top-k）
   • 它运行每个专家但对结果进行平均
3. MoE 训练期间负载平衡（辅助）丢失解决什么问题？
   • 令牌对于上下文窗口来说太长
   • 路由器过度使用了一些专家，而让其他专家挨饿
   • 梯度在注意力集中消失
   • 与验证集过度拟合
4. Mixtral 8x7B 每个代币都会激活 8 个专家中的 2 个。这对于它的计算量和大小意味着什么？
   • 每个代币都使用全部 8 位专家的计算
   • 它的总参数比 7B 密集模型少
   • 它根本无法在 GPU 上运行
   • 每个代币的活跃计算量远小于其参数总数所显示的值
5. 为什么稀疏的 MoE 仍然有大量的内存或存储需求？
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0.5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters