典型采样
典型的采样是一种文本生成方法，它从信息内容接近模型预期惊喜的标记中挑选下一个单词，而不是总是抓住最可能的单词。
概述
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
深入探讨
当语言模型预测下一个标记时，它会生成数千个选项的概率分布。贪婪和 top-k 方法偏向于高概率标记，这会使文本重复且平淡。 Meister 及其同事于 2022 年引入的典型抽样采用了植根于信息论的不同角度。该模型计算其预期信息内容（分布的熵）。然后根据他们自己的惊喜与期望的差距来对代币进行评分。典型的采样会保留惊奇程度最接近平均值的标记集，直到它们的组合概率达到阈值，然后从该集中进行采样。结果是文本既不是令人震惊的随机性，也不是单调可预测的，反映了人类在稳定的信息速率附近自然交流的方式。
技术洞察
对于每个候选标记，模型计算意外的负对数概率。它还计算条件熵，即所有标记的概率加权平均惊喜。典型的采样根据令牌的意外值和熵之间的绝对差对令牌进行排名，然后贪婪地添加最接近的令牌，直到它们的累积概率达到参数 tau（通常在 0.9 到 0.95 左右）。采样仅发生在这个局部典型集合内，抑制极端异常值和最乏味的高概率选择。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
典型采样的未来
在 llama.cpp 和 Hugging Face Transformers 等开源推理堆栈中，典型采样正在成为与 top-p 和 top-k 一起的标准选项。预计它会在创意写作、对话和故事生成中得到越来越多的使用，因为过度安全的解码会损害质量。研究人员正在将其与根据上下文而变化的自适应阈值相结合，并将其与重复惩罚相结合。随着信息论解码的成熟，典型的采样可能会为自动的、分布感知的方法提供信息，从而淘汰手动调节的温度设置。
现实世界的实施
生成小说或诗歌时，贪婪的解码会产生枯燥、重复的散文，而作家想要更自然的多样性。
支持聊天机器人的回复，避免机械式、公式化的措辞，同时保持连贯和切中主题。
可用作 Hugging Face Transformers 中的解码标志 (典型_p)，供开发人员调整开源模型输出。
在 llama.cpp 和 text- Generation-webui 等本地 LLM 运行时中使用，作为 top-p 的替代品，以获得更丰富、更少退化的文本。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Typical Sampling?
典型的采样是一种文本生成方法，它从信息内容接近模型预期惊喜的标记中挑选下一个单词，而不是总是抓住最可能的单词。它的目标是通过匹配真实语言在可预测性和新颖性之间的平衡，使输出感觉自然且像人类一样。
典型抽样将每个候选令牌与什么核心数量进行比较？
典型的采样测量每个令牌的意外与分布的熵（预期信息内容）的距离，保持意外最接近平均值的令牌。
典型采样如何处理单个最可能的标记？
概率非常高的标记具有非常低的意外性，这可能与平均值相差甚远，因此典型的采样可能会将其排除在候选集中之外，而有利于更“典型”的标记。
典型的采样是由哪种关于人类语言的想法激发的？
该方法基于这样的假设：自然语言保持接近统一的信息率，因此它有利于带有接近平均惊喜程度的标记。
典型采样控制中的tau参数是什么？
Tau设定目标累积概率；添加最接近熵的标记，直到它们的组合概率达到 tau，从而定义从中进行采样的集合。
开发人员通常会接触到哪种软件的典型采样？
典型采样在 Hugging Face Transformers 等库和 llama.cpp 等本地运行时中作为解码选项（例如 generic_p）实现。