概述
这很重要,因为它让模型能够比所展示的示例更难地解决问题。
深入探讨
从最少到最多的提示是由 Zhou 和 Google 的同事于 2022 年提出的,有两个阶段。首先,提示模型将复杂问题分解为更简单的子问题的有序列表。其次,它一次解决一个子问题,将每个解决的答案附加到上下文中,以便后面的步骤可以建立在前面的步骤的基础上。这与思想链不同,思想链在一次传递中进行推理而无需显式分解。作者评估了符号操作、数学推理和 SCAN(一种根据自然语言命令构建的组合泛化基准)。对于使用 GPT-3 code-davinci-002 和 14 个范例的特定 SCAN 设置,从最低到最高在测试的分割(包括长度分割)中达到至少 99% 的准确率,而思想链提示的准确率仅为 16%。这是该模型、提示设置和基准测试的结果,而不是一般的准确性保证。
现实世界的实施
通过首先列出要计算的数量,然后按顺序计算它们来解决多步骤应用题
组合语言任务,例如将长指令从短示例翻译为动作序列
通过将其分解为子问题来回答复杂的研究问题,这些子问题的答案将合并到最终的答案中
通过将程序分解为辅助函数来编写程序,每次解决一个函数,每个函数都由后续步骤重用
从最少到最多提示的未来
现在,从最少到最多的想法支撑着许多代理和规划器架构,这些架构在行动之前将目标分解为有序的子任务。期望与工具使用混合,其中每个子问题都可以触发计算器、搜索或代码调用,并具有自我一致性以获得更强大的子答案。研究还在探索自动分解,以适应问题难度的深度,并将其与验证相结合,这样错误的早期子答案就不会默默地破坏整个下游链。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断,而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱,敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时,请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
什么是从最少到最多的提示?
从最少到最多的提示将一个难题分解为一系列更简单的子问题,按顺序解决它们,以便每个答案都为下一个答案提供支持。这很重要,因为它让模型能够比所展示的示例更难地解决问题。
从最少到最多提示的两个主要阶段是什么?
它首先将问题分解为一组有序的更简单的子问题,然后按顺序解决每个问题。
从最少到最多的提示与标准的思维链提示有何不同?
一连串的思路推理;从最小到最大显式分解子答案并将其链接在一起。
SCAN 基准测试使用什么样的任务来测试组合泛化?
SCAN 使用将语言映射到动作序列的命令来测试构图泛化;从最少到最多的论文评估提示是否转移到更难的命令组合。
为什么子问题的顺序很重要?
子问题的排列使得每个子问题仅依赖于先前解决的问题,从而正确地建立答案。
在求解阶段如何使用中间答案?
每个解决的子答案都会添加到运行提示中,以便后续步骤获得所需的结果。