概述
这是一种解码启发式方法，不能保证类似人类的、真实的或连贯的输出。
深入探讨
当语言模型预测下一个标记时，它会生成数千个选项的概率分布。贪婪和 top-k 方法偏向于高概率标记，这会使文本重复且平淡。 Meister 及其同事于 2022 年引入的典型抽样采用了植根于信息论的不同角度。该模型计算其预期信息内容（分布的熵）。然后根据他们自己的惊喜与期望的差距来对代币进行评分。典型的采样保留令人惊奇最接近平均值的标记集，直到它们的组合概率达到阈值，然后从该集中进行采样。该方法偏向于其惊喜更接近分布的预期惊喜的代币。它不保证类似人类的措辞、事实正确性或连贯性；评估预期任务的输出。
现实世界的实施
生成小说或诗歌时，贪婪的解码会产生枯燥、重复的散文，而作家想要更自然的多样性。
支持聊天机器人的回复，避免机械式、公式化的措辞，同时保持连贯和切中主题。
可用作 Hugging Face Transformers 中的解码标志 (典型_p)，供开发人员调整开源模型输出。
在 llama.cpp 和 text- Generation-webui 等本地 LLM 运行时中使用，作为 top-p 的替代品，以获得更丰富、更少退化的文本。
典型采样的未来
在 llama.cpp 和 Hugging Face Transformers 等开源推理堆栈中，典型采样正在成为与 top-p 和 top-k 一起的标准选项。预计它会在创意写作、对话和故事生成中得到越来越多的使用，因为过度安全的解码会损害质量。研究人员正在将其与根据上下文而变化的自适应阈值相结合，并将其与重复惩罚相结合。随着信息论解码的成熟，典型的采样可能会为自动的、分布感知的方法提供信息，从而淘汰手动调节的温度设置。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是典型抽样？
典型的抽样根据候选令牌的意外与模型分布的预期意外（熵）的接近程度对候选令牌进行排名，然后从达到选定概率质量的集合中进行采样。这是一种解码启发式方法，不能保证类似人类的、真实的或连贯的输出。
典型抽样将每个候选令牌与什么核心数量进行比较？
典型的采样测量每个令牌的意外与分布的熵（预期信息内容）的距离，保持意外最接近平均值的令牌。
典型采样如何处理单个最可能的标记？
概率非常高的标记具有非常低的意外性，这可能与平均值相差甚远，因此典型的采样可能会将其排除在候选集中之外，而有利于更“典型”的标记。
典型的采样是由哪种关于人类语言的想法激发的？
该方法基于这样的假设：自然语言保持接近统一的信息率，因此它有利于带有接近平均惊喜程度的标记。
典型采样控制中的tau参数是什么？
Tau设定目标累积概率；添加最接近熵的标记，直到它们的组合概率达到 tau，从而定义从中进行采样的集合。
与贪婪解码相比，典型采样试图改变什么？
典型的采样使用相对于熵的惊喜，而不是简单地选择最可能的标记。