语言人工智能指南

类比提示和后退提示

类比提示和后退提示都首先引导模型进行更高层次的推理:类比提示让它回忆起类似的已解决问题,而后退提示则让它在解决具体问题之前推导出基本原理。

概述

类比提示和后退提示都首先引导模型进行更高层次的推理:类比提示让它回忆起类似的已解决问题,而后退提示则让它在解决具体问题之前推导出基本原理。它们很重要,因为抽象往往胜过直接深入细节。

类比和后退提示是语言人工智能堆栈的一部分,用于大规模阅读、生成、分类和转换文本和语音。

深入探讨

这是 2023 年用于改进推理的两项相关的 Google 研究技术。 Yasunaga 及其同事的类比提示要求模型在解决目标问题之前自动生成一些相关的示例、它已经有效看到的类似问题及其解决方案,从而消除了手写示例的需要。郑和同事的后退提示首先提出一个抽象问题(“什么一般原则或事实支配着这个?”),检索或推理该原则,然后将其应用于具体问题。两者都使模型远离过早的细节。 Step-Back 显示了在物理和化学问题以及多跳推理方面的进步,同时通过针对每个特定问题定制示例,类比提示改进了数学和代码生成。

技术洞察

后退之所以有效,是因为将答案建立在既定原则(例如理想气体定律或定义)的基础上可以限制随后的详细推理并减少中间步骤的失误。类比提示之所以有效,是因为自我生成的范例与当前的确切问题相匹配,通常比固定的少数示例更相关,并且它们启动了适当的解决方案模式。两者都将计算转向首先检索正确的抽象,然后进行扎实的详细工作。

掌握类比提示和后退提示

类比提示和后退提示都首先引导模型进行更高层次的推理:类比提示让它回忆起类似的已解决问题,而后退提示则让它在解决具体问题之前推导出基本原理。它们很重要,因为抽象往往胜过直接深入细节。类比和后退提示是语言人工智能堆栈的一部分,用于大规模阅读、生成、分类和转换文本和语音。为了建立深入的理解,请将类比提示和后退提示视为一种操作模型,而不是单一功能:定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。

在实践中,强大的团队使用类比提示和后退提示将提示、检索和审查循环设计为一个集成的通信系统。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

语言工作流程可以在不牺牲一致性的情况下更快地移动。与此同时,幻觉事实可以悄悄地进入报告、支持流程或研究成果。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

语言工作流程可以在不牺牲一致性的情况下更快地移动。

语言工作流程可以在不牺牲一致性的情况下更快地移动。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

它扩展了跨语言和沟通方式的访问。

它扩展了跨语言和沟通方式的访问。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

团队可以花更多时间进行判断,而自动化则可以处理重复。

团队可以花更多时间进行判断,而自动化则可以处理重复。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

类比提示和后退提示的未来

期望这些抽象优先的模式与检索系统相结合,在检索系统中,后退原则成为对知识库的精确查询,并与在战术之前推理策略的代理规划器相结合。当自我产生的类比有帮助时,与引入不相关或错误的例子时相比,研究正在完善,并将后退与验证相结合,以便在建立严格推理之前检查所选择的原则。它们很可能是推理调整模型中的默认值。

现实世界的实施

回答物理问题时,首先通过后退一步陈述相关定律(例如牛顿第二定律),然后代入数字

通过类比提示让模型回忆几个相似的已解决问题来解决新的数学问题

在链接事实之前,通过退回到更广泛的类别或实体来解决多跳琐事问题

通过自生成类似算法及其解决方案来生成代码,然后使其适应当前任务

实施模式

实践中的类比提示和后退提示

回答物理问题时,首先通过后退一步陈述相关定律(例如牛顿第二定律),然后代入数字。

通过首先通过后退陈述相关定律(例如牛顿第二定律),然后插入数字来回答物理问题。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

实践中的类比提示和后退提示

通过类比提示让模型回忆几个相似的已解决问题来解决新的数学问题。

通过让模型通过类比提示回忆几个类似的已解决问题来解决新的数学问题当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时,通常会得到更好的结果。

实践中的类比提示和后退提示

在链接事实之前,通过退回到更广泛的类别或实体来解决多跳琐事问题。

在链接事实之前,通过退回到更广泛的类别或实体来解决多跳琐事问题当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会得到更好的结果。

实践中的类比提示和后退提示

通过自生成类似的算法及其解决方案来生成代码,然后使其适应当前任务。

通过自行生成类似的算法及其解决方案来生成代码,然后使其适应当前的任务。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

风险与防护栏

!

幻觉的事实可以悄悄地进入报告、支持流程或研究成果。

!

及时的敏感性可能会在类似的请求中产生不一致的结果。

!

如果访问控制薄弱,敏感文本数据可能会暴露。

实施路线图

1

在推出之前定义输出格式、语气和质量标准。

在推出之前定义输出格式、语气和质量标准。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

当准确性很重要时,请使用可信来源进行地面响应。

当准确性很重要时,请使用可信来源进行地面响应。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

为高风险输出保留人工审查检查点。

为高风险输出保留人工审查检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

跟踪故障模式并定期重新训练提示或工作流程。

跟踪故障模式并定期重新训练提示或工作流程。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索