概述
通过在单次前向传递中验证这些猜测，它可以将文本生成速度提高大约 2-3 倍，而无需更改模型的输出分布。
深入探讨
Normal language models generate one token per forward pass, which is slow because each step must wait for the previous one. Medusa adds lightweight feed-forward heads on top of the frozen base model; each head predicts a token a few positions ahead (head 1 predicts the next token, head 2 the token after, and so on). These predictions form a tree of candidate continuations. The full model then verifies the whole tree in one pass using a 'tree attention' mask, accepting the longest prefix that matches what the model would have produced anyway. For Medusa-1, the backbone stays frozen and original-model rejection sampling can preserve the base model's output distribution, enabling lossless inference acceleration. Medusa-2 jointly trains the heads and backbone with a special recipe that preserves the backbone's next-token capability while improving head prediction. The paper also studies typical acceptance, which can increase acceptance and maintain similar generation quality but does not make the same exact distribution-matching guarantee.
现实世界的实施
通过每次前向传递接受多个经过验证的令牌来缩短聊天机器人响应延迟
加快代码完成助手的速度，使可预测的令牌序列易于推测
无需部署单独的草稿模型即可降低高流量 LLM API 的推理成本
加速长文本生成（例如摘要），同时保持输出与标准解码相同
美杜莎解码头的未来
推测性解码正在成为生产推理堆栈中的标准，而像 Medusa 这样的独立方法（无需单独的草稿模型）很有吸引力，因为它们更易于部署。未来的工作将 Medusa 风格的头部与 EAGLE 风格的特征预测、更好的树结构和硬件感知验证相结合。期望与服务框架更紧密地集成，自动调整每个工作负载的树形状，以及与 KV 缓存压缩的组合，从而在不增加 GPU 或质量损失的情况下降低延迟。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是美杜莎解码头？
Medusa 是一种推测解码方法，它将几个额外的预测“头”连接到语言模型上，以便它可以一次猜测多个未来的标记。通过在单次前向传递中验证这些猜测，它可以将文本生成速度提高大约 2-3 倍，而无需更改模型的输出分布。
额外的美杜莎头像预示着什么？
每个美杜莎头都会预测一个代币在未来的几个位置，因此可以同时提出多个代币。
在何种 Medusa 配置下，论文描述了无损推理加速？
论文指出 Medusa-1（冻结主干）实现了无损加速；通过精确的拒绝采样将接受的候选项与基础模型分布进行验证。
Medusa 的候选延续被安排成什么结构来进行验证？
候选者形成一棵树，树注意掩模让基本模型在一次前向传递中验证所有分支。
与草稿模型推测解码相比，Medusa 的主要优势是什么？
Medusa 将轻量级头部附加到现有模型上，因此无需训练和服务单独的选秀网络。
Medusa 通常报告的加速大约是多少？
Medusa 通常可以将生成延迟降低大约 2-3 倍，具体取决于工作负载。