概述
这将模型大小与计算成本分离，从而使大型模型能够保持快速且廉价的运行速度。
深入探讨
条件计算意味着网络根据数据做出有关使用哪些子模块的决策。一个小型的学习“门控”或“路由器”网络会查看每个输入（通常是每个令牌）并生成分数，选择将其发送给哪些“专家”。在专家混合 (MoE) 层中，存在数十或数百个专家子网络，但路由器仅选择每个令牌的前一两个专家子网络，因此大多数专家对于任何给定输入都保持空闲状态。结果是一个总参数数量巨大但活动数量较少的模型，以小得多的运行时成本提供了巨型模型的表征能力。这就是 Switch Transformer、GLaM 和许多前沿大型语言模型等模型如何以经济实惠的方式扩展到数万亿个参数的方式。
现实世界的实施
Switch Transformer 将每个代币路由到单个专家，扩展到超过一万亿个参数，同时保持每个代币的计算量较低。
使用专家混合层的前沿大型语言模型，因此每个令牌仅激活一小部分权重。
提前退出的图像分类器在处理简单图像时停在浅层，仅在处理困难图像时才运行更深的层。
多语言模型，其路由器学习将不同语言的令牌发送给不同的专业专家。
条件计算中门控和路由的未来
稀疏门控现在是扩展前沿模型的核心，趋势是向更细粒度的专家、更智能的路由器和多层路由发展。期望更好的技术来实现稳定的训练，当专家分布在许多加速器上时减少通信开销，以及“专家专业化”分析以了解每个专家学到了什么。条件计算也从 MoE 扩展到早期退出网络和动态深度模型，这些模型仅在更困难的输入上花费更多计算。
付诸实践
为什么这很重要
- 成本与预算. 多年来，架构决策决定着性能和运营成本。
- 更清晰的判决. 技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
- 质量控制. 更好的工程选择可以减少生产中的可靠性事故。
留意
- 优化一项基准测试可以隐藏更广泛的系统弱点。
- 基础设施和维护成本常常被低估。
- 随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
后续步骤
- 在实施之前定义延迟、质量和成本目标。
- 在实际负载和数据条件下进行基准测试。
- 仪器监控错误、漂移和用户影响。
- 在扩展之前准备回滚和事件响应路径。
不断探索
常见问题
什么是条件计算中的门控和路由？
门控和路由让神经网络仅激活每个输入所需的部分，而不是每次都运行整个模型。这将模型大小与计算成本分离，从而使大型模型能够保持快速且廉价的运行速度。
What is conditional computation?
The guide defines data-dependent selection of submodules as conditional computation.
In a mixture-of-experts layer, what does the router do?
The guide says a learned router selects experts based on its input.
What is active parameter count?
Sparse routing can activate only part of the total parameter set per input.
Why can routing be computationally efficient?
The guide explains that most experts can remain idle for a particular token.
What is expert load imbalance?
The guide notes routers can favor a few experts, leaving others underused.