语言人工智能指南

从最少到最多的提示

从最少到最多的提示将一个难题分解为一系列更简单的子问题,按顺序解决它们,以便每个答案都为下一个答案提供支持。

概述

从最少到最多的提示将一个难题分解为一系列更简单的子问题,按顺序解决它们,以便每个答案都为下一个答案提供支持。这很重要,因为它让模型能够比所展示的示例更难地解决问题。

从最少到最多的提示是语言人工智能堆栈的一部分,用于大规模阅读、生成、分类和转换文本和语音。

深入探讨

由少到多的提示由 Zhou 及其同事于 2022 年在 Google 提出,有两个阶段。首先,提示模型将复杂问题分解为更简单的子问题的有序列表。其次,它一次解决一个子问题,将每个解决的答案附加到上下文中,以便后面的步骤可以建立在前面的步骤的基础上。这与思想链不同,思想链在一次传递中进行推理而无需显式分解。标题结果是强大的由易到难的泛化:在 SCAN 组合泛化基准上,从最少到最多的提示解决了绝大多数长命令,尽管提示示例很短,而标准思维链在很大程度上失败了。

技术洞察

力量来自于将计划与执行分开。分解产生一个依存顺序的链,这样子问题 N 只依赖于已经解决的子问题。每个解决的答案都会连接到运行提示中,为模型提供所需的中间结果,而不是要求它一次完成所有操作。这减少了每个单独步骤必须执行的推理,这就是为什么模型对输入的泛化比任何单个演示都更长、更难。

掌握从最少到最多的提示

从最少到最多的提示将一个难题分解为一系列更简单的子问题,按顺序解决它们,以便每个答案都为下一个答案提供支持。这很重要,因为它让模型能够比所展示的示例更难地解决问题。从最少到最多的提示是语言人工智能堆栈的一部分,用于大规模阅读、生成、分类和转换文本和语音。为了建立深入的理解,请将从最少到最多的提示视为一种操作模型,而不是单个功能:定义所需的结果,澄清假设,并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。

在实践中,强大的团队使用从最少到最多的提示设计提示、检索和审查循环作为一个集成的通信系统。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时,幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

语言工作流程可以在不牺牲一致性的情况下更快地移动。

语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

它扩展了跨语言和沟通方式的访问。

它扩展了跨语言和沟通方式的访问。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

团队可以花更多时间进行判断,而自动化则可以处理重复。

团队可以花更多时间进行判断,而自动化则可以处理重复。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

从最少到最多提示的未来

现在,从最少到最多的想法支撑着许多代理和规划器架构,这些架构在行动之前将目标分解为有序的子任务。期望与工具使用混合,其中每个子问题都可以触发计算器、搜索或代码调用,并具有自我一致性以获得更强大的子答案。研究还在探索自动分解,以适应问题难度的深度,并将其与验证相结合,这样错误的早期子答案就不会默默地破坏整个下游链。

现实世界的实施

通过首先列出要计算的数量,然后按顺序计算它们来解决多步骤应用题

组合语言任务,例如将长指令从短示例翻译为动作序列

通过将其分解为子问题来回答复杂的研究问题,这些子问题的答案将合并到最终的答案中

通过将程序分解为辅助函数来编写程序,每次解决一个函数,每个函数都由后续步骤重用

实施模式

实践中从最少到最多的提示

通过首先列出要计算的数量,然后按顺序计算它们来解决多步骤应用问题。

通过首先列出要计算的数量,然后按顺序计算它们来解决多步骤的应用题。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

实践中从最少到最多的提示

组合语言任务,例如将长指令从短示例翻译成动作序列。

组合语言任务,例如将长指令从短示例翻译为动作序列当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时,通常会获得更好的结果。

实践中从最少到最多的提示

通过将复杂的研究问题分解为子问题来回答,这些子问题的答案将合并为最终的答案。

通过将其分解为子问题来回答复杂的研究问题,这些子问题的答案会合并到最终的响应中。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

实践中从最少到最多的提示

通过将程序分解为辅助函数来编写程序,一次解决一个问题,每个函数都由后续步骤重用。

通过将程序分解为辅助函数来编写程序,一次解决一个问题,每个函数都由后续步骤重用当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

风险与防护栏

!

幻觉的事实可以悄悄地进入报告、支持流程或研究成果。

!

及时的敏感性可能会在类似的请求中产生不一致的结果。

!

如果访问控制薄弱,敏感文本数据可能会暴露。

实施路线图

1

在推出之前定义输出格式、语气和质量标准。

在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

当准确性很重要时,请使用可信来源进行地面响应。

当准确性很重要时,请使用可信来源进行地面响应。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

为高风险输出保留人工审查检查点。

为高风险输出保留人工审查检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

跟踪故障模式并定期重新训练提示或工作流程。

跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索