テクニカルガイド
思考の木の推論
Tree-of-Thought を使用すると、モデルは 1 つの思考に固執するのではなく、木の枝のように多くの推論パスを並行して探索できます。
このガイドを聴くAIによるナレーション · ~2 min
概要
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
ディープダイブ
Yaoらによって紹介されました。 2023 年には、Tree-of-Thoughts (ToT) が思考連鎖のプロンプトを一般化します。思考連鎖が推論ステップの単一の線形シーケンスを生成するのに対し、ToT は問題をツリーとして構造化します。各ノードは部分的な解決策 (「思考」) であり、モデルは各ノードからいくつかの次の思考の候補を生成します。個別の評価ステップで各ブランチの有望度がスコア付けされ、幅優先検索や深さ優先検索などの検索アルゴリズムによって、どのブランチを拡張し、どのブランチを枝刈りするかが決定されます。これにより、モデルは意図的に探索し、数歩先を見て、道が有望に見えない場合には後戻りすることができます。 ToT は、貪欲な単一経路推論を打ち破るタスクに輝きました。最も有名なのは Game of 24 で、思考連鎖を備えた GPT-4 がパズルの約 4% を解決しましたが、ToT は成功率を約 74% に押し上げました。
現実世界の実装
どの 2 つの数字を最初に組み合わせるかを分岐し、24 に到達できない算術パスを枝刈りすることで 24 のゲームを解きます。
一貫した計画を持ったクリエイティブライティング。散文を書く前に、モデルがいくつかのプロットの概要を作成し、それらを評価し、最も強力なものを拡張します。
ミニ クロスワードのような制約パズルでは、埋められた各単語が思考となり、互換性のない分岐は放棄されます。
モデルが代替の中間ステップを探索し、制約に違反するステップからバックトラックする、マルチステップの数学または計画の問題。
思考の木推論の未来
思考の木は、推論時間の計算にどのように費やされるかに影響を与えています。システムは、1 回の大きな前方パスではなく、推論パスを検索して最適なものを選択することが増えています。今後の研究の目的は、分岐がその高いトークンコストに見合う価値がある場合を学習すること、プロンプトベースの自己評価の代わりに訓練された値関数を使用すること、熟慮がより効率的に行われるようにツリー検索を推論モデルに組み込むことです。ツールや検証ツールとのより緊密な統合が期待されるため、ブランチ評価はモデルの推測ではなく実際のフィードバックに基づいて行われます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is Tree-of-Thoughts Reasoning?
Tree-of-Thought を使用すると、モデルは 1 つの思考に固執するのではなく、木の枝のように多くの推論パスを並行して探索できます。先を見据え、部分的な解決策を評価し、行き止まりから後戻りすることができます。
思考の木と思考連鎖のプロンプトはどう違うのですか?
思考の連鎖は単一の線形シーケンスを生成しますが、思考の木は評価して枝刈りできる多くの候補パスに分岐します。
Tree-of-Thought では、単一のノードは通常何を表しますか?
各ノードは部分的な解決策 (思考) であり、モデルは各ノードからいくつかの次の思考の候補を展開します。
状態評価者は Tree-of-Thoughts でどのような役割を果たしますか?
多くの場合同じ LLM である評価者は、部分的な状態 (確実/おそらく/不可能など) を評価または投票するため、検索は有望な分岐に焦点を当てることができます。
ゲーム オブ 24 のベンチマークでは、ToT は、思考連鎖をおよそ何ジャンプで劇的に上回りましたか?
思考連鎖を備えた GPT-4 は 24 パズルの約 4% を解決しましたが、思考の木は約 74% に達しました。
思考ツリーをナビゲートするためにどの検索戦略が一般的に使用されますか?
ToT は、思考の生成と評価を、BFS、DFS、ビーム検索などの従来の検索手順と組み合わせて、どのブランチを展開するかを決定します。