引导式测验 · 硬 等级

混合模型和稀疏模型测验

查看 Mixtral 路由、专家激活、总参数与活动参数，以及稀疏模型的实际内存和部署权衡。

相关引导路径混合模型和稀疏模型
问题 1 的 8

在 Mixtral 8x7B 中，有多少专家处理每个单独的令牌？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在 Mixtral 8x7B 中，有多少专家处理每个单独的令牌？
    • 两位专家
    • 全部八位专家
    • 恰好一位专家
    • 每次随机数
  2. 哪个组件决定将令牌发送给哪些专家？
    • 分词器
    • 路由器（门控网络）
    • 注意力层
    • 嵌入表
  3. 尽管 Mixtral 8x7B 总共有大约 47B 个参数，但每个代币大约有多少个活跃参数？
    • 约470亿
    • 约70亿
    • 约130亿
    • 约700亿
  4. 即使每个代币只有两名专家运行，Mixtral 服务设置帐户必须用于什么？
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Mistral AI 在哪个许可下发布了 Mixtral，推动了开放采用？
    • 阿帕奇2.0
    • 仅专有、闭源
    • 通用公共许可证 v3
    • 知识共享非商业性
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • 它消除了对任何训练数据的需要
    • Supervised fine-tuning and direct preference optimization (DPO)
    • 它完全消除了对 GPU 的需求
    • 它保证模型永远不会出错
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • 两位专家
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish