概述
They matter because abstraction often beats diving straight into details.
深入探讨
这是 2023 年用于改进推理的两项相关的 Google 研究技术。 Yasunaga 及其同事的类比提示要求模型在解决目标问题之前自动生成一些相关的示例、它已经有效看到的类似问题及其解决方案,从而消除了手写示例的需要。郑和同事的后退提示首先提出一个抽象问题(“什么一般原则或事实支配着这个?”),检索或推理该原则,然后将其应用于具体问题。两者都使模型远离过早的细节。 Step-Back 显示了在物理和化学问题以及多跳推理方面的进步,同时通过针对每个特定问题定制示例,类比提示改进了数学和代码生成。
现实世界的实施
回答物理问题时,首先通过后退一步陈述相关定律(例如牛顿第二定律),然后代入数字
通过类比提示让模型回忆几个相似的已解决问题来解决新的数学问题
在链接事实之前,通过退回到更广泛的类别或实体来解决多跳琐事问题
通过自生成类似算法及其解决方案来生成代码,然后使其适应当前任务
类比提示和后退提示的未来
期望这些抽象优先的模式与检索系统相结合,在检索系统中,后退原则成为对知识库的精确查询,并与在战术之前推理策略的代理规划器相结合。当自我产生的类比有帮助时,与引入不相关或错误的例子时相比,研究正在完善,并将后退与验证相结合,以便在建立严格推理之前检查所选择的原则。它们很可能是推理调整模型中的默认值。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断,而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱,敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时,请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
不断探索
常见问题
What is Analogical and Step-Back Prompting?
类比提示和后退提示都首先引导模型进行更高层次的推理:类比提示让它回忆起类似的已解决问题,而后退提示则让它在解决具体问题之前推导出基本原理。它们很重要,因为抽象往往胜过直接深入细节。
在解决目标问题之前,类比提示要求模型做什么?
类比提示使模型根据问题生成自己的相关示例和解决方案。
后退提示的第一步是什么?
后退首先提出一个抽象问题,以揭示控制问题的原则或事实。
为什么将答案建立在既定原则(后退)的基础上会有帮助?
首先阐述指导原则,指导和约束具体步骤,降低出错的机会。
后退提示在哪些类型的任务上显示出显着的效果?
Step-Back 通过首先进行抽象,提高了科学问题和多跳推理的表现。
类比提示的显着风险是什么?
由于模型发明了自己的类比,因此这些范例有时可能是无关紧要或不正确的,从而损害了答案。