概述
Nucleus (top-p) 和 top-k 采样是通过限制可以选择的标记来为文本生成添加受控随机性的解码方法。它们很重要，因为它们让人工智能写作感觉自然且多样，而不是重复或机械化。
Nucleus 和 Top-k 采样是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。
深入探讨
语言模型在每一步输出整个词汇的概率分布。直接从中采样可以挑选出奇怪的、低概率的标记；总是获取顶部令牌（贪婪）会产生枯燥、重复的循环。 Top-k 采样通过仅保留 k 个最高概率标记（例如 k=40）、重新规范化并在其中采样来解决此问题。细胞核采样，由 Holtzman 等人提出。在 2019 年，而是保留累积概率超过阈值 p（例如 0.9）的最小标记集——“核心”。关键的优点是，当模型有信心时，该集合会缩小，而当模型不确定时，该集合会扩展，从而动态适应。两者通常与温度参数相结合，在采样前使分布尖锐或平坦。
技术洞察
关键的区别在于固定截断与自适应截断。 Top-k 始终保留恰好 k 个令牌，当许多选项都是合理时，这些令牌可能太少，或者当只有几个选项合理时，这些令牌可能会包含垃圾。 Top-p 保留一个可变数量——刚好足以覆盖概率质量 p 的标记——因此它会截断不可靠的长尾，同时考虑分布的峰值或平坦程度。温度（通常为 0.7-1.0）会在任一方法之前重新调整 logits：较低的值集中概率，较高的值分散概率。
掌握 Nucleus 和 Top-k 采样
Nucleus (top-p) 和 top-k 采样是通过限制可以选择的标记来为文本生成添加受控随机性的解码方法。它们很重要，因为它们让人工智能写作感觉自然且多样，而不是重复或机械化。 Nucleus 和 Top-k 采样是语言 AI 堆栈的一部分，用于大规模读取、生成、分类和转换文本和语音。为了建立深入的理解，请将 Nucleus 和 Top-k 采样视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，强大的团队使用 Nucleus 和 Top-k Sampling 将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时，幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
语言工作流程可以在不牺牲一致性的情况下更快地移动。
语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
它扩展了跨语言和沟通方式的访问。
它扩展了跨语言和沟通方式的访问。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
团队可以花更多时间进行判断，而自动化则可以处理重复。
团队可以花更多时间进行判断，而自动化则可以处理重复。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
聊天机器人使用 0.9 左右的 top-p 来保持对话中回复的多样性和连贯性
创意写作助理提高温度和压力，集思广益不同的故事想法
代码生成工具可降低温度和 k，以获得更具确定性、更正确的代码片段
API 用户调整 top_p 和 top_k 参数来控制模型输出的冒险程度
实施模式
Nucleus 和 Top-k 采样实践
聊天机器人使用 0.9 左右的 top-p 来保持对话中回复的多样性和连贯性。
聊天机器人使用 0.9 左右的 top-p 来保持整个对话中回复的多样性和连贯性。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
Nucleus 和 Top-k 采样实践
创意写作助理提高温度和压力，集思广益不同的故事想法。
创意写作助理提高温度和 p 集思广益不同的故事想法当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
Nucleus 和 Top-k 采样实践
代码生成工具可降低温度和 k，以获得更具确定性、更正确的代码片段。
代码生成工具可降低温度和 k，以获得更具确定性、更正确的代码片段 团队在预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
Nucleus 和 Top-k 采样实践
API 用户调整 top_p 和 top_k 参数来控制模型输出的冒险程度。
API 用户调整 top_p 和 top_k 参数来控制模型输出的冒险程度。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
当准确性很重要时，请使用可信来源进行地面响应。
当准确性很重要时，请使用可信来源进行地面响应。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为高风险输出保留人工审查检查点。
为高风险输出保留人工审查检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪故障模式并定期重新训练提示或工作流程。
跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。