基于熵的采样
基于熵的采样会根据模型当时的不确定性来调整法学硕士选择下一个标记的方式。
概述
当模型有信心时，策略就会保持果断；当熵较高时，它会进行调整以避免不连贯或表明模型不确定。
深入探讨
标准解码在整个一代中使用固定的温度和 top-p，但模型的不确定性在不同的标记之间变化很大：在“纽约”之后几乎是确定的，但在创造性句子的开头则不确定。基于熵的采样测量下一个标记概率分布的香农熵（有时是注意力的熵或 logit“varentropy”）并使用它来调制解码。低熵意味着尖锐、置信的分布，因此贪婪或低温采样是安全的；高熵意味着模型分散，从而促使采取诸如提高温度以实现多样性、分支、插入澄清或思想链标记或后退等策略。通过“entropix”等方法而流行，其目标是比一刀切的解码更少的幻觉和更好的校准。
技术洞察
熵 H = -sum p_i log p_i 是根据每一步的 softmaxed logits 计算的。一些方案还跟踪变熵（意外的方差）以区分“确信错误”和“真正撕裂”状态。然后，决策规则将（熵、变熵）象限映射到一个动作：低/低到贪婪，高/低到升高温度，高/高到分支或暂停和推理。通常根据模型根据经验调整阈值。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
基于熵的采样的未来
自适应、不确定性感知解码可能会与推理和工具使用相结合：模型可以在熵峰值时自动触发思维链、检索或“让我检查”动作。期望熵信号能够提供给用户的置信度估计，在代理请求人类帮助时进行门控，并与推测性解码相结合，以便积极地起草低熵延伸，同时高熵点得到仔细的全模型关注。
现实世界的实施
在自信、事实跨度（日期、名字）上自动降低温度，同时在开放式创意延续中提高温度。
仅当下一个令牌熵峰值时才触发额外的思维链或推理步骤，从而节省了简单令牌的计算量。
使用高熵作为幻觉警告，提示系统检索源或向用户标记低可信度。
当模型确实不确定方向时，熵式解码会分支为多个候选延续。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Entropy-Based Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是基于熵的采样？
基于熵的采样会根据模型当时的不确定性来调整法学硕士选择下一个标记的方式。当模型有信心时，策略就会保持果断；当熵较高时，它会进行调整以避免不连贯或表明模型不确定。
基于熵的采样的下一步是什么？
自适应、不确定性感知解码可能会与推理和工具使用相结合：模型可以在熵峰值时自动触发思维链、检索或“让我检查”动作。期望熵信号能够提供给用户的置信度估计，在代理请求人类帮助时进行门控，并与推测性解码相结合，以便积极地起草低熵延伸，同时高熵点得到仔细的全模型关注。
基于熵的采样在生成过程中适应什么？
它测量每一步下一个令牌概率的分布情况，并根据这种不确定性调整解码。
在某些基于熵的方案中，“变熵”用于捕获什么？
Varentropy 衡量每个令牌惊喜的变化程度，在平均熵之外添加第二个轴来选择操作。