概述
通过精确的拒绝采样校正，它保持了目标分布；加速效果取决于草稿成本、接受率、目标验证以及工作负载。
深入探讨
自回归生成速度很慢，因为每个标记都需要对庞大的模型进行完整的正向传递。推测采样通过将低成本的草稿模型与昂贵的目标模型配对来解决这个问题。草稿模型提出一串简短的标记（比如 4-8 个）；然后目标模型在一次并行的正向传递中对所有这些标记进行评分。修改后的拒绝采样规则会接受与目标自身分布一致的最长前缀，并在第一个被拒绝的位置重新采样。由于接受过程是概率性的且经过了校正，最终的标记流的分布可以证明与目标模型单独生成时完全一致，质量没有任何损失。加速效果随草稿成本、接受率、目标验证、批处理和硬件的不同而变化。并行的验证过程可以确认多个标记，但并非没有代价。
现实世界的实施
使用 7B 草稿模型提供 70B 聊天模型，可将响应延迟大约减少一半，同时输出质量相同。
美杜莎风格的头是用一个模型预测几个未来的代币，然后在没有单独的草案网络的情况下验证它们。
基于树的推测解码，提出多个分支延续并在一次目标传递中验证它们。
加速代码完成助手，其中草稿模型处理大型模型快速确认的可预测样板文件。
推测性抽样验证的未来
推测性解码正在成为推理堆栈的标准。较新的变体放弃了单独的草稿模型：自我推测使用提前退出或额外的预测头（Medusa、EAGLE），基于树的草稿一次验证许多候选延续，前瞻解码并行化 n-gram 猜测。预计与批处理和 KV 缓存管理、硬件感知草稿大小的更紧密集成，以及在对延迟敏感的产品（如聊天助手和编码工具）中更广泛的使用，其中每一毫秒都很重要。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是推测采样验证？
推测采样使用草稿模型来生成候选标记，并使用目标模型来验证它们。通过精确的拒绝采样校正，它保持了目标分布；加速效果取决于草稿成本、接受率、目标验证以及工作负载。
推测性抽样背后的核心思想是什么？
廉价的草稿模型会提前猜测几个标记，而昂贵的目标模型会在一次并行前向传递中检查所有标记。
为什么推测抽样不会降低输出质量？
修改后的拒绝采样校正保证了接受的令牌的分布与目标模型单独生成的完全一样。
在精确推测采样中，当草稿标记被拒绝时会发生什么？
精确推测采样使用拒绝采样校正并丢弃后续的草稿后缀。
在精确推测采样下，关于输出分布有什么保证？
拒绝采样规则保持了目标分布；这并不保证每个随机种子生成相同的采样字符串。
目标验证过程在精确推测采样中提供什么信息？
目标过程对草稿建议进行评分，并提供接受规则和残差校正所使用的目标概率；它具有计算成本。