反思和自我糾正劑
反思是一種技術，人工智慧代理以書面形式反思自己的失敗，並將這些教訓回饋到下一次嘗試。
概述
It matters because it lets agents improve on a task without retraining the underlying model.
深入探討
Shinn 及其同事在 2023 年發表的一篇論文中介紹了反射，它為智能體提供了一個循環：它嘗試一項任務，接收有關其表現的信號（測試結果、獎勵或批評），然後編寫一個簡短的自然語言“反射”，解釋出了什麼問題以及下一步要嘗試什麼。此反射被儲存在記憶體中並添加到下一次嘗試的提示中。至關重要的是，模型的權重永遠不會改變；學習完全以文字形式發生在上下文視窗中。這種「語言強化學習」讓智能體能夠迭代編碼問題、網路導航和推理任務。在 HumanEval 編碼基準上，反射式的自我修正透過讓代理人在幾次嘗試中除錯自己的錯誤，使通過率大大高於單次嘗試。
技術洞察
反思分為三個角色：生成動作的參與者、對結果進行評分的評估者（單元測試、精確匹配檢查或法學碩士法官）以及將分數轉化為文本課程的自我反思模型。課程存放在情景記憶緩衝區中，可在下一次試驗中重複使用。由於回饋是語言而不是梯度，因此不需要 GPU 訓練，但它在很大程度上依賴可靠的評估訊號，以避免強化自信但錯誤的反射。
戰略影響
配裝選擇
應用級設計決定了人工智慧是否能改善實際結果。
團隊與工作流程
良好的工作流程整合可以創造使用者值得信賴的生產力效益。
風險與安全
範圍明確的用例可以減少變更疲勞和實施風險。
反思和自我糾正代理的未來
自我修正正在成為代理框架中的預設層，而不是一種研究技巧。期望與自動驗證器更緊密地集成，例如代碼沙箱、形式檢查器和確認事實的檢索，因此反射基於客觀信號，而不是模型事後猜測本身。公開的挑戰是避免代理無休止地「修復」工作輸出的循環，決定何時停止迭代，並防止反思陷入聽起來合理但未經驗證的合理化。
現實世界的實施
一個編碼代理，運行單元測試，讀取失敗的斷言，在錯誤上寫下註釋，並在重新運行套件之前編輯其程式碼。
當檢索檢查失敗時，研究助理發現了幻覺引文，然後修改答案以僅使用經過驗證的來源。
網路導航代理程式（例如，在 AlfWorld 或 WebShop 基準測試中）記錄「我點擊了錯誤的過濾器」並避免重試時出現錯誤。
數學問題解決程序根據約束檢查其最終答案，注意到符號錯誤，並重新執行相關步驟。
風險與防護欄
將損壞的流程自動化可能會加劇現有問題。
團隊可能會過度自動化並消除所需的人工判斷。
如果不持續評估輸出，品質可能會出現偏差。
實施路線圖
繪製目前工作流程並確定摩擦最大的步驟。
在完全自動化之前定義人工檢查點。
對使用者進行提示、升級路徑和品質標準的訓練。
追蹤任務級結果以確認持續價值。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Reflexion and Self-Correcting Agents?
反思是一種技術，人工智慧代理以書面形式反思自己的失敗，並將這些教訓回饋到下一次嘗試。這很重要，因為它可以讓代理人改進任務，而無需重新訓練底層模型。
反射代理如何「學習」的定義特徵是什麼？
反射有時被稱為“言語強化學習”，因為課程以自然語言文本的形式儲存在記憶體中，而不是編碼到模型的參數中。
在 Reflexion 框架中，Evaluator 做什麼？
評估器（單元測試、精確匹配檢查或法學碩士評判）產生信號，將自我反思步驟轉變為文本課程。
為什麼評估訊號的品質在 Reflexion 中如此重要？
如果評估者不可靠，代理人可能會根據不良回饋編寫自信的反思，從而將未來的嘗試引向錯誤的方向。
在哪個基準測試中，反射式自我修正顯著提高了編碼通過率？
HumanEval 是一個程式碼產生基準，讓代理程式在多次嘗試中進行偵錯可以提高通過率，遠高於單次效能。
哪一個是自我修正代理真正的開放風險？
如果沒有良好的停止規則，代理可能會不斷修改正確答案，浪費計算，有時會降低良好的輸出。