アプリケーションガイド
反射と自己修正のエージェント
Reflexion is a research framework in which language agents use task feedback to write textual reflections for later attempts.
このガイドを聴くAIによるナレーション · ~1 min
概要
It changes context, not model weights.
ディープダイブ
The Reflexion paper describes an Actor that attempts a task, an Evaluator that scores the result, and a Self-Reflection model that turns feedback into language stored in episodic memory. The next attempt can use that reflection as context; the framework does not update model weights. The paper reports improvements on selected tasks, including a HumanEval result for its particular setup. Benchmark results should not be generalized to every agent or deployment. In the Reflexion paper’s reported coding experiment, the framework achieved 91% pass@1 on HumanEval, compared with 80% for the GPT-4 baseline described in that paper. These are results for the paper’s particular setup and benchmark, not a general performance guarantee.
現実世界の実装
An agent receives unit-test feedback, writes a reflection, and retries a coding task.
A researcher compares Reflexion’s benchmark setup with its stated baseline.
An evaluator supplies task-specific feedback that the agent can inspect.
A developer stops iteration when a defined success condition is met.
反射と自己修正エージェントの未来
Self-correction methods remain dependent on evaluation quality, task design, and iteration cost. Avoid claims of general improvement without testing; reflections can be mistaken or lead to loops.
実践する
なぜそれが重要なのか
- ビルドの選択. AI が実際の成果を向上させるかどうかは、アプリケーション レベルの設計によって決まります。
- チームとワークフロー. ワークフローを適切に統合すると、ユーザーが信頼できる生産性が向上します。
- リスクと安全性. 適切な範囲のユースケースにより、変更の疲労と実装のリスクが軽減されます。
気をつけてください
- 壊れたプロセスを自動化すると、既存の問題がさらに拡大する可能性があります。
- チームが過剰に自動化し、必要な人間の判断を排除してしまう可能性があります。
- 出力が継続的に評価されないと、品質が変動する可能性があります。
次のステップ
- 現在のワークフローをマッピングし、最も摩擦が大きいステップを特定します。
- 完全自動化の前に人間によるチェックポイントを定義します。
- プロンプト、エスカレーション パス、品質基準についてユーザーをトレーニングします。
- タスクレベルの結果を追跡して、持続的な価値を確認します。
探検を続けましょう
よくある質問
What is Reflexion and Self-Correcting Agents?
Reflexion is a research framework in which language agents use task feedback to write textual reflections for later attempts. It changes context, not model weights.
Reflexion エージェントが「学習」する方法の決定的な特徴は何ですか?
反射は、レッスンがモデルのパラメーターにエンコードされず、自然言語テキストとしてメモリに保存されるため、「言語強化学習」と呼ばれることもあります。
リフレクション フレームワークでは、評価者は何をしますか?
評価者 (単体テスト、完全一致チェック、または LLM ジャッジ) は、内省ステップがテキストのレッスンに変わるという信号を生成します。
Reflexion ではなぜ評価信号の品質がそれほど重要なのでしょうか?
評価者が信頼できない場合、エージェントは悪いフィードバックに基づいて自信に満ちた考察を書き、今後の試行を間違った方向に導く可能性があります。
On which coding benchmark did the Reflexion paper report a 91% pass@1 result?
The paper reports 91% pass@1 on HumanEval for its Reflexion coding setup; the result is specific to that evaluation.
自己修正エージェントによる真の未解決リスクはどれですか?
適切な停止ルールがないと、エージェントは正解を修正し続け、計算を無駄にし、場合によっては良好な出力を低下させる可能性があります。