概述
反思是一种技术，人工智能代理以书面形式反思自己的失败，并将这些教训反馈到下一次尝试中。这很重要，因为它可以让代理改进任务，而无需重新训练底层模型。
反射和自我纠正代理专注于实际部署：将模型功能转变为可靠的日常工作流程，提供可衡量的价值。
深入探讨
Shinn 及其同事在 2023 年发表的一篇论文中介绍了反射，它为智能体提供了一个循环：它尝试一项任务，接收有关其表现的信号（测试结果、奖励或批评），然后编写一个简短的自然语言“反射”，解释出了什么问题以及下一步要尝试什么。该反射被存储在内存中并添加到下一次尝试的提示中。至关重要的是，模型的权重永远不会改变；学习完全以文本形式发生在上下文窗口中。这种“语言强化学习”让智能体能够迭代编码问题、网络导航和推理任务。在 HumanEval 编码基准上，反射式的自我纠正通过让代理在几次尝试中调试自己的错误，使通过率大大高于单次尝试。
技术洞察
反思分为三个角色：生成动作的参与者、对结果进行评分的评估者（单元测试、精确匹配检查或法学硕士法官）以及将分数转化为文本课程的自我反思模型。该课程存放在情景记忆缓冲区中，可在下一次试验中重复使用。由于反馈是语言而不是梯度，因此不需要 GPU 训练，但它在很大程度上依赖于可靠的评估信号，以避免强化自信但错误的反射。
掌握反射和自我纠正代理
反思是一种技术，人工智能代理以书面形式反思自己的失败，并将这些教训反馈到下一次尝试中。这很重要，因为它可以让代理改进任务，而无需重新训练底层模型。反射和自我纠正代理专注于实际部署：将模型功能转变为可靠的日常工作流程，提供可衡量的价值。为了建立深入的理解，请将反射和自我纠正代理视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用反射和自我纠正代理的强大团队专注于工作流程结果，而不是模型演示，并尽早定义人工检查点。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
应用级设计决定了人工智能是否能改善实际结果。与此同时，将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
应用级设计决定了人工智能是否能改善实际结果。
应用级设计决定了人工智能是否能改善实际结果。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
良好的工作流程集成可以创造用户值得信赖的生产力收益。
良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
范围明确的用例可以减少变更疲劳和实施风险。
范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
一个编码代理，运行单元测试，读取失败的断言，在错误上写下注释，并在重新运行套件之前编辑其代码。
当检索检查失败时，研究助理发现了幻觉引文，然后修改答案以仅使用经过验证的来源。
网络导航代理（例如，在 AlfWorld 或 WebShop 基准测试中）记录“我点击了错误的过滤器”并避免重试时出现错误。
数学问题解决程序根据约束检查其最终答案，注意到符号错误，并重新执行相关步骤。
实施模式
实践中的反思和自我纠正代理
一个编码代理，运行单元测试，读取失败的断言，在错误上写下注释，并在重新运行套件之前编辑其代码。
运行单元测试、读取失败断言、在错误上编写注释并在重新运行套件之前编辑其代码的编码代理。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的反思和自我纠正代理
当检索检查失败时，研究助理发现了幻觉引文，然后修改答案以仅使用经过验证的来源。
当检索检查失败时，研究助理发现幻觉引文，然后修改答案以仅使用经过验证的来源。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
实践中的反思和自我纠正代理
网络导航代理（例如，在 AlfWorld 或 WebShop 基准测试中）记录“我点击了错误的过滤器”并避免重试时出现错误。
网络导航代理（例如，在 AlfWorld 或 WebShop 基准上）记录“我点击了错误的过滤器”并避免重试时的失误。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
实践中的反思和自我纠正代理
数学问题解决程序根据约束检查其最终答案，注意到符号错误，并重新执行相关步骤。
数学问题解决程序根据约束检查其最终答案，注意到符号错误，并重新设计相关步骤。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出，质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在完全自动化之前定义人工检查点。
在完全自动化之前定义人工检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
对用户进行提示、升级路径和质量标准方面的培训。
对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪任务级结果以确认持续价值。
跟踪任务级结果以确认持续价值。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。