概述
某些解码策略利用它来调整采样，但熵并非事实置信度的校准度量，单凭它也无法证明答案是错误的。
深入探讨
标准解码在整个生成过程中使用固定的温度和 top-p，但模型的不确定性在词元之间波动极大：在“New York”之后几乎确定，而在创意句子的开头则不确定。基于熵的采样测量下一个词元概率分布的香农熵（有时还包括注意力或 logit 的“方差熵”），并据此调节解码。低熵意味着概率质量集中；高熵意味着分布更分散。这两个值都不能确立事实的正确性。一些研究原型使用熵或相关统计量来触发不同的解码操作，例如分支或检索，但这些是启发式方法，其效果需要根据具体任务进行评估。
现实世界的实施
在自信、事实跨度（日期、名字）上自动降低温度，同时在开放式创意延续中提高温度。
仅当下一个令牌熵峰值时才触发额外的思维链或推理步骤，从而节省了简单令牌的计算量。
使用高熵作为幻觉警告，提示系统检索源或向用户标记低可信度。
当模型确实不确定方向时，熵式解码会分支为多个候选延续。
基于熵的采样的未来
自适应、感知不确定性的解码可能会与推理和工具使用融合：系统可以将分布统计量作为选择另一种解码策略或请求外部证据的一个信号。不应单独将熵呈现为校准的置信度或真理检测器；任何路由策略都需要针对其任务和用户进行验证。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是基于熵的采样？
熵概括了模型下一个词元概率分布的分散程度。某些解码策略利用它来调整采样，但熵并非事实置信度的校准度量，单凭它也无法证明答案是错误的。
在感知熵的解码器中，下一个词元的熵衡量什么？
香农熵概括了分布的分散程度；它不是直接的真理或正确性度量。
在某些感知熵的解码方案中，方差熵衡量什么？
方差熵是关于惊讶度变化的分布统计量，而不是独立的事实性标签。
当感知熵的系统看到高熵的下一个词元分布时，它可以合理得出什么结论？
高熵表明下一个词元分布存在不确定性，但不能确立声明的真实性。
使用熵来指导生成的实际局限性是什么？
基于熵的解码改变了词元选择，但事实性和校准需要单独评估。
低熵的模型答案与用户的错误声明一致。熵值确立了什么？
熵是从模型分布计算的，不是关于事实声明的外部证据。