テクニカルガイド
人間のフィードバックからの強化学習
人間のフィードバックからの強化学習では、人間の判断を使用してモデルの動作のトレーニング信号を構築します。
このガイドを聴くAIによるナレーション · ~2 min
概要
収集された好みとの一致を改善することはできますが、真実、安全、または普遍的に好まれる回答を保証するものではありません。
ディープダイブ
事前トレーニングされた言語モデルは、もっともらしいテキストを予測しますが、もっともらしいことは、役立つ、正直、または安全であることと同じではありません。共通の RLHF パイプラインは、これらの目標に段階的に対処します。まず、教師あり微調整では、人間が書いた回答例を使用して指示に従うようにモデルを学習します。次に、人間は同じプロンプトに対するモデル応答のペアを比較し、より良い方を選択します。これらの比較により、応答をスコアリングする別の報酬モデルがトレーニングされます。最後に、言語モデルは強化学習によって最適化され、報酬モデルが高く評価する応答が生成されます。ペナルティは、参照ポリシーからの逸脱を正規化します。報酬モデルのエラーの悪用を排除するものではありません。 RLHF は、ChatGPT スタイルのアシスタントを使用できるようにする上で中心的な役割を果たしました。
現実世界の実装
チャット アシスタントを調整して、有害なリクエストを拒否し、ただもっともらしいテキストではなく、役立つ、よく構造化された回答を提供します。
人間の好みに基づいて要約のペアをランク付けし、人間が実際に役立つと感じる要約を作成するモデルをトレーニングします。
人間の評価者が敬意を表し安全であると判断した回答に報酬を与えることで、有害な出力や偏った出力を削減します。
完全な PPO ループを実行せずに、優先回答と拒否回答のデータセットで DPO を使用してオープンソース モデルを調整します。
人間のフィードバックから学ぶ強化学習の未来
RLHF は合理化され、部分的に自動化されています。 DPO とそれに関連する直接優先手法は、多くのチームにとって重い PPO パイプラインに取って代わりつつあり、RLAIF は AI によって生成されたフィードバック (Constitutional AI と同様) を使用してラベル作成コストを削減しています。研究では、プロセスの監視やディベートなどの手法を使用して、報酬ハッキング、アノテーターのバイアス、長い応答や専門家の応答を判断することの難しさに取り組んでいます。人間と AI のフィードバックを融合する調整、単一の親指アップを超えたより豊富な報酬シグナル、および誰が好みを提供し、どのような値をエンコードするかについての監視の強化が期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
人間のフィードバックからの強化学習とは何ですか?
人間のフィードバックからの強化学習では、人間の判断を使用してモデルの動作のトレーニング信号を構築します。収集された好みとの一致を改善することはできますが、真実、安全、または普遍的に好まれる回答を保証するものではありません。
言語モデルにおける RLHF の主な目的は何ですか?
RLHF は、人間が好む反応に向けてモデルを誘導し、それを単にもっともらしいものではなく、より有用で、正直で、安全なものにします。
RLHF の報酬モデルは実際に何を行うかを学習しますか?
報酬モデルは人間の好みの比較に基づいてトレーニングされ、応答をスコアリングし、ポリシーが最適化するシグナルを提供します。
参照ポリシーに対する KL ダイバージェンス ペナルティは、RLHF の目標で規則化することを目的としていますか?
この罰則は大規模な政策転換を妨げる。これは、報酬モデルが悪用できないことや、生成された回答が正しいことを証明するものではありません。
報酬モデルのために嗜好データは通常どのように収集されますか?
アノテーターはペアワイズ比較で好ましい応答を選択し、ブラッドリー・テリー形式の損失を通じて報酬モデルをトレーニングします。
DPO (Direct Preference Optimization) は、従来の RLHF パイプラインに比べてどのような利点がありますか?
DPO は、個別の報酬モデルや面倒な強化学習ステップを回避し、好みから直接目標を導き出します。