概述
路由器为每个令牌选择八个专家前馈网络中的两个，而其他模型组件仍然是已部署检查点的一部分。
深入探讨
Mixtral 8x7B 模型卡描述了一个稀疏专家混合变压器，具有八个专家和每个令牌的前两个路由。它报告了大约 46.7B 总参数，每个代币大约有 12.9B 活跃参数。主动参数影响计算，但传统推理仍然需要访问完整的专家权重。结果取决于实现、批量大小、上下文长度和硬件。较小的活动计数并不能保证比密集模型更高的速度或质量。 Mistral 列出英语、法语、意大利语、德语和西班牙语作为此版本支持的语言。通过监督微调和直接偏好优化，进一步优化了 Instruct 变体；这些是特定于版本的详细信息。
现实世界的实施
检查已发布的型号卡的架构、路由和许可条款。
使用完整检查点大小（而不仅仅是活动参数）来估计服务内存。
对目标提示和硬件上选定的检查点进行基准测试。
比较相同工作负载和质量标准下的模型。
混合模型和稀疏模型的未来
专家混合研究探索条件计算和缩放。将有关效率或未来参数计数的主张视为假设，直到在指定模型、硬件和工作负载上进行测量。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是Mixtral和稀疏模型？
Mixtral 8x7B 是一种稀疏专家混合语言模型。路由器为每个令牌选择八个专家前馈网络中的两个，而其他模型组件仍然是已部署检查点的一部分。
在 Mixtral 8x7B 中，有多少专家处理每个单独的令牌？
Mixtral 使用 top-2 路由：路由器选择八个专家中的两个来处理每个令牌。
哪个组件决定将令牌发送给哪些专家？
一个称为路由器的小型门控网络对专家进行评分并选择处理每个令牌的专家。
尽管 Mixtral 8x7B 总共有大约 47B 个参数，但每个代币大约有多少个活跃参数？
因为每个代币只有两名专家运行，所以大约有 130 亿个参数处于活动状态，这使其速度比一个小得多的模型要快。
即使每个代币只有两名专家运行，Mixtral 服务设置帐户必须用于什么？
稀疏路由减少了每个令牌的计算，但指南表示完整的检查点通常必须可用；实现可以使用卸载或其他内存策略。
Mistral AI 在哪个许可下发布了 Mixtral，推动了开放采用？
Mixtral 是在宽松的 Apache 2.0 许可证下发布的，允许免费商业使用和微调。