テクニカルガイド
計画と解決のプロンプト
Plan-and-Solve (PS) プロンプトは、言語モデルに、最初に明示的な計画を考案し、次にそれを段階的に実行するように指示し、単純な「段階的に考えてみましょう」プロンプトが残した失敗を修正します。
このガイドを聴くAIによるナレーション · ~2 min
概要
It is a simple prompt tweak that meaningfully boosts multi-step reasoning without any extra training.
ディープダイブ
Lei Wang らによる 2023 年の ACL 論文で導入された計画と解決のプロンプトは、ゼロショット思考連鎖の特定の弱点、つまりモデルがステップをスキップしたり、計算を間違えたり、質問を読み間違えたりすることがよくあるという問題への対応でした。 PS では、「段階的に考えてみましょう」という 1 つの指示を、「まず問題を理解し、それを解決するための計画を立てましょう」という 2 つの部分からなる指示に置き換えます。それでは、計画を実行して問題を段階的に解決しましょう。」強化されたバージョンである PS+ は、関連する変数を抽出し、中間結果を計算し、数値に注意を払うためのリマインダーを追加します。 GSM8K や SVAMP などのベンチマークでは、PS+ はプロンプトで実際に動作するサンプルを必要とせず、数ショットの思考連鎖でギャップの多くを埋めました。
現実世界の実装
モデルが最初に数量をリストし、次にそれらを順番に計算する、複数ステップの小学校算数の文章題 (GSM8K) を解く。
実装コードを作成する前に、コーディングアシスタントが機能と特殊なケースの概要を説明できるようにします。
まずユーザーの根本的な目標を特定し、次に解決手順を順序立てて行うようにカスタマー サポート エージェントを構成します。
複雑なデータ分析リクエストを「クエリの計画」フェーズと、それに続く「実行と結果の結合」フェーズに分割します。
計画と解決のプロンプトの未来
計画と解決の思考は、計画と実行をネイティブに分離するエージェント フレームワークと「推論」モデルに組み込まれています。計画プロンプトは、ツールの使用、自己検証、およびツリー検索の方法と統合され、手動プロンプトではなく、合理的に訓練されたモデルの内部デフォルト動作になることが期待されます。永続的な教訓は、行動する前にタスクを分解することは、安価で広く移転可能な信頼性の向上であるということです。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is Plan-and-Solve Prompting?
Plan-and-Solve (PS) プロンプトは、言語モデルに、最初に明示的な計画を考案し、次にそれを段階的に実行するように指示し、単純な「段階的に考えてみましょう」プロンプトが残した失敗を修正します。これは、追加のトレーニングを必要とせずに、複数ステップの推論を有意義に強化する簡単なプロンプト調整です。
計画と解決のプロンプトは、標準的なゼロショットの思考連鎖にどのような中心的な変化をもたらしますか?
PS プロンプトでは、「段階的に考えてみましょう」という 1 つのセリフではなく、計画を立ててからそれを段階的に実行するという指示に分割されます。
Plan-and-Solve は、単純な思考連鎖のどの具体的な弱点に対処するために設計されましたか?
著者らは、ゼロショットの思考連鎖が頻繁に引き起こすステップ欠落エラーと算術/計算ミスをターゲットにしました。
強化された PS+ バリアントは、基本的な計画と解決のプロンプトに何を追加しますか?
PS+ は、関連する変数を抽出し、中間結果を計算し、数値に注意を払うための詳細なリマインダーを追加し、自己生成された足場を強化します。
Plan-and-Solve はどのタイプのベンチマークで顕著に評価されましたか?
PS と PS+ は、推論データセットの中でも特に、GSM8K や SVAMP などの数理推論ベンチマークでテストされました。
詳細な手順の前に計画を作成すると、自己回帰モデルに役立つ傾向があるのはなぜですか?
生成は自己回帰的であるため、高レベルのプラン トークンは、後続のステップバイステップの推論をガイドするコンテキストとなり、スキップされるステップを減らします。