基本ガイド
ブラッドリー・テリーの報酬モデリング
Bradley-Terry モデルは、ペアごとの比較 (A が B に勝つ) を数値スコアに変換するための 100 年前から使用されている統計手法です。
このガイドを聴くAIによるナレーション · ~2 min
概要
現代の AI では、「どの答えがより良いか?」から人間の好みを学習する報酬モデルを強化します。 RLHF のバックボーンであるラベル。
ディープダイブ
1952 年に導入された Bradley-Terry は、すべてのアイテムには隠された強度スコアがあり、アイテム A がアイテム B に勝つ確率は、それらのスコアの差のロジスティック関数であると仮定しています。 AI の調整では、これが好みのデータにきちんとマッピングされます。人間のラベル作成者は、調整が難しい絶対評価を与えるのではなく、2 つのモデルの応答を見て、より良い方を選択します。報酬モデル (通常はスカラー出力ヘッドを備えた言語モデル) は、人間が好む応答により高いスカラー報酬が得られるようにトレーニングされます。損失は、ブラッドリー・テリー確率の負の対数尤度です。つまり、(選択された報酬から拒否された報酬を差し引いた) の対数シグモイドを最大化します。結果として得られる報酬モデルは、任意の出力にスコアを付け、PPO などの強化学習アルゴリズムが最適化してモデルをより有用で整合性の高いものにするための信号を提供します。
現実世界の実装
2 つのチャットボット応答をランク付けし、より良いまたは悪い信号を PPO 微調整に供給する RLHF の報酬モデルをトレーニングします。
直接優先最適化では、Bradley-Terry ログシグモイド損失を使用して、選択された回答対と拒否された回答のペアに基づいてモデルを直接微調整します。
Elo を介したチェスまたは e スポーツ プレーヤーのランキング。これは数学的にゲームの結果に関するブラッドリー-テリー モデルに近いものです。
絶対的な星の評価ではなく、「ユーザーが B よりも A を好む」クリック データに基づいてコンテンツ推奨ランカーを構築します。
ブラッドリー・テリー報酬モデリングの未来
ブラッドリー・テリーは、単一の一貫したランキングと推移的な好みを前提としていますが、人間の意見が一致しない場合や好みが循環すると、この順位は崩れてしまいます。研究は、選好度の分布、多次元の報酬（有用性、安全性、誠実さが個別にスコア化される）を捉えるモデル、および単一スコアの仮定を外した人間のフィードバックから学習するナッシュのような方法に向かって進んでいます。 DPO とその派生型は、ブラッドリーとテリーの目標を政策トレーニングに直接組み込むことが増えています。報酬のハッキングを減らすために、3 つ以上の項目のランキングや信頼度に重み付けされた好みなど、より豊富な比較スキームが期待されます。
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- Bradley-Terry 報酬モデリングが役立つ部分と、より単純な方法の方が優れている部分を文書化します。
探検を続けましょう
よくある質問
ブラッドリー・テリー報酬モデリングとは何ですか?
Bradley-Terry モデルは、ペアごとの比較 (A が B に勝つ) を数値スコアに変換するための 100 年前から使用されている統計手法です。現代の AI では、「どの答えがより良いか?」から人間の好みを学習する報酬モデルを強化します。 RLHF のバックボーンであるラベル。
Bradley-Terry モデルは数値スコアに何を変換しますか?
Bradley-Terry は、「A が B に勝つ」ペアごとの比較を行い、各項目の隠れた強度スコアを推測します。そのため、人間の好みのラベル付けに非常によく適合します。
ブラッドリー・テリーでは、A が B に勝つ確率は何の関数ですか?
モデルは、P(A が B に勝つ) を、A と B の隠れた強度スコアの差のロジスティック (シグモイド) に等しく設定します。
なぜブラッドリーとテリーの報酬は加算定数までしか特定できないのでしょうか?
トレーニング損失では、選択された報酬と拒否された報酬の差のみが使用されるため、すべてのスコアを同じ定数だけシフトすると、損失は変化しません。絶対スケールは任意です。
報酬モデリングにおける単一の選好比較の標準損失はいくらですか?
ブラッドリー・テリーの負の対数尤度は、選択された報酬と拒否された報酬の差のマイナス対数シグモイドに減少し、選択された応答の報酬をより高く押し上げます。
Bradley-Terry の目標をポリシー上で直接最適化することで、別の報酬モデルをスキップする方法はどれですか?
DPO は Bradley-Terry の優先目標を再定式化し、ポリシー モデルに直接適用できるようにし、スタンドアロンの報酬モデルのトレーニングやクエリの必要性を排除します。