概述
它改变的是上下文，而不是模型权重。
深入探讨
Reflexion 论文描述了一个尝试执行任务的 Actor（执行者）、一个为结果打分的 Evaluator（评估者），以及一个将反馈转化为语言并存储在情景记忆中的 Self-Reflection（自我反思）模型。下一次尝试可以将该反思作为上下文使用；该框架不会更新模型权重。论文报告了在选定任务上的改进，包括其特定设置下的 HumanEval 结果。基准测试结果不应推广到所有智能体或部署环境。在 Reflexion 论文报告的编码实验中，该框架在 HumanEval 上达到了 91% 的 pass@1，而该论文中描述的 GPT-4 基线为 80%。这些结果是针对该论文特定设置和基准的，并非通用的性能保证。
现实世界的实施
智能体接收单元测试反馈，撰写反思，然后重试编码任务。
研究人员将 Reflexion 的基准测试设置与其声明的基线进行比较。
评估者提供智能体可以检查的任务特定反馈。
当满足预定义的成功条件时，开发者停止迭代。
反思和自我纠正代理的未来
自我修正方法仍然依赖于评估质量、任务设计和迭代成本。未经测试，请勿声称有普遍改进；反思可能是错误的，或导致循环。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
不断探索
常见问题
什么是反射和自我修正剂？
Reflexion 是一个研究框架，语言智能体利用任务反馈撰写文本反思，以便在后续尝试中参考。它改变的是上下文，而不是模型权重。
反射代理如何“学习”的定义特征是什么？
反射有时被称为“言语强化学习”，因为课程以自然语言文本的形式存储在内存中，而不是编码到模型的参数中。
在 Reflexion 框架中，Evaluator 做什么？
评估器（单元测试、精确匹配检查或法学硕士评判）产生信号，将自我反思步骤转变为文本课程。
为什么评估信号的质量在 Reflexion 中如此重要？
如果评估者不可靠，代理可能会根据不良反馈编写自信的反思，从而将未来的尝试引向错误的方向。
Reflexion 论文在哪个编码基准上报告了 91% 的 pass@1 结果？
该论文报告其 Reflexion 编码设置在 HumanEval 上达到了 91% 的 pass@1；该结果特定于该评估。
哪一个是自我纠正代理真正的开放风险？
如果没有良好的停止规则，代理可能会不断修改正确答案，浪费计算，有时还会降低良好的输出。