概述
它在保持固定且可预测的计算预算的同时，降低了处理简单 token 的成本。
深入探讨
标准转换器将每一层应用于每个标记，甚至是诸如标点符号之类的琐碎标记。 Mixture of Depths 由 Google DeepMind 在 2024 年引入，在每个块添加一个小型路由器，选择固定的 top-k 部分令牌来进行完整的自注意力和 MLP 计算；其余的通过剩余连接跳过该块。由于每层仅处理 k 个令牌，因此总计算量 (FLOP) 受到限制并提前已知，这与早期不可预测变化的动态深度方法不同。这使得批处理和硬件利用更加高效。经过 MoD 训练的模型可以在每次前向传递中使用更少的 FLOP 来匹配基线变压器的质量，或者在相同的计算下达到更高的质量，并且这个想法可以与专家混合自然地组合，以提供在深度和宽度上路由的“MoDE”模型。
现实世界的实施
通过跳过填充标记的深度计算来减少处理长文档所需的 FLOP
以较低的计算量训练与基线质量相匹配的模型，从而降低服务成本
与专家混合 (MoDE) 相结合，在层深度和专家选择上进行路由
保持每个令牌的可预测、固定延迟，因为每层计算预算是提前固定的
深度混合的未来
随着模型规模的扩大，条件计算是提高效率的主要杠杆，而 MoD 就是一个早期的、干净的例子。期望与专家混合（深度和专家路由）进行更深入的集成，为简单输入而缩小的自适应预算，以及更好地识别哪些令牌真正需要深度处理的学习路由器。由于推理成本在部署经济中占主导地位，让模型仅在需要时“更努力地思考”，同时保持可预测延迟的技术可能会成为大规模架构中的标准。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是 Mixture of Depths？
深度混合 (MoD) 让转换器在不同的令牌上花费不同的计算量，通过每层的繁重计算仅路由“重要”令牌。它降低了处理简单令牌的成本，同时保持固定、可预测的计算预算。
不同代币的深度混合有何不同？
MoD 仅通过每一层的繁重计算路由一些令牌，因此不同的令牌有效地获得不同的深度。
MoD 如何保持其计算预算可预测？
每个区块选择固定的 top-k 代币可以限制 FLOP 并保持张量形状不变，这是硬件友好的。
路由器在给定块中未选择的代币会怎样？
未选择的令牌绕过块的计算，并由剩余路径原封不动地继续前进。
哪个实验室发布了 Mixture of Depths 技术？
深度混合是由 Google DeepMind 在 2024 年关于动态变压器计算的论文中引入的。
将 MoD 与 Mixture-of Experts 结合起来会产生什么结果？
将深度路由与专家路由相结合产生“MoDE”模型，该模型可以在层和专家上进行计算。