言語AIガイド
カーネマン・トベルスキー最適化
カーネマン-トベルスキー最適化 (KTO) は、一対の比較ではなく、単純な賛成または反対のラベルから学習する調整方法です。
このガイドを聴くAIによるナレーション · ~2 min
概要
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
ディープダイブ
2024 年にスタンフォード大学と Contextual AI の Ethayarajh 氏らによって導入された KTO は、人間が損得をどのように評価するかに関するダニエル・カーネマンとエイモス・トベルスキーのノーベル賞受賞研究であるプロスペクト理論から借用しています。 DPO などの標準的な方法では、同じプロンプトに対する選択された回答と拒否された回答という、優先順位のペアが必要です。 KTO は代わりに、個々の出力が単に望ましいか望ましくないかをマークする、ペアになっていないデータを処理します。これは、サンプルのモデルの改善を参照点に対する利得または損失として扱う人間認識の損失を構築し、損失回避を適用して、望ましくない出力が望ましい出力よりも大幅にペナルティを受けるようにします。これにより、チームは実稼働アプリですでに収集された豊富な賛否両論のシグナルを使用できるようになります。
現実世界の実装
デプロイされたチャットボットからの親指アップ/親指ダウンのクリックを使用して、設定ペアを構築せずにチャットボットを微調整する
「良い」答えと「悪い」答えの山があるが、同じプロンプトに対して一致する比較がない場合のモデルの調整
製品チームがモデレーション フラグ (望ましくない) と保存された応答 (望ましい) を KTO トレーニングにリサイクルする
KTO の損失回避とクラスの重みを調整することで、嫌いが好きよりも稀な不均衡なフィードバックを処理する
カーネマン・トベルスキー最適化の将来
KTO は実際の製品に適しており、ユーザーは自然に「好き」か「嫌い」をクリックしますが、2 つの回答を並べてランク付けすることはほとんどありません。生産フィードバックをリサイクルする継続的改善ループの幅広い採用に加え、望ましいデータと望ましくないデータの比率と損失回避の重みを調整する研究が期待されます。 KTO の行動経済学の枠組みを他の目標と組み合わせ、それをマルチモーダルなフィードバックに適用することは、チームが乱雑な現実世界の信号からの調整を模索する際に積極的な方向性となります。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
よくある質問
What is Kahneman-Tversky Optimization?
カーネマン-トベルスキー最適化 (KTO) は、一対の比較ではなく、単純な賛成または反対のラベルから学習する調整方法です。バイナリ フィードバックは、ほとんどの手法で必要とされるランク付けされたペアよりも収集がはるかに簡単で安価であるため、これは重要です。
KTO はどのような種類のデータを必要としますか?
KTO は、一致した設定ペアではなく、例ごとの単純なサムアップ/ダウン ラベルから学習します。
KTO はどの作品からインスピレーションを受けていますか?
KTO は、利益と損失を非対称に評価するというプロスペクト理論の考え方を借用しており、そのためその名前が付けられています。
KTOで使われる「損失回避」とは何ですか?
プロスペクト理論によれば、損失は利益よりも大きくなるため、KTO はマイナスの乖離をより重視します。
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
KTO では、偏差は何に対して相対的に測定されますか?
KTO の価値関数は、回答が基準ベースラインを上回っているか下回っているかを判断し、それを利益または損失として扱います。