言語AIガイド
除去サンプリングの微調整
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
このガイドを聴くAIによるナレーション · ~2 min
概要
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
ディープダイブ
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
現実世界の実装
プロンプトごとに複数の回答をサンプリングすることで Llama スタイルのモデルを調整し、最高の報酬モデル スコアを維持し、それらを SFT します。
多数の解を生成し、正しい、確認可能な答えに到達したものだけを保持することにより、数学ソルバーを改善します。
単体テストに合格した場合にのみ候補が保持され、トレーニング データとして使用されるコード生成
次のトレーニング ラウンドに向けてモデル自身の最適な自己生成応答をフィルタリングすることにより、合成命令データセットを構築する
リジェクションサンプリング微調整の未来
RFT は現代のポストトレーニングの中心であり、多くの場合、PPO や DPO などの RL 手法の前または並行して使用されます。その魅力は、安価な推論と強力な自動検証機能によってさらに高まります。モデルの自己生成と自己チェックが向上するにつれて、反復拒否サンプリングが合成データと自己改善ループをサポートします。検証可能な思考連鎖を生成する推論モデルとのより緊密な統合と、モデル自身の出力で繰り返しトレーニングする際の報酬ハッキングや多様性の崩壊を回避する方法についての継続的な研究が期待されます。
実践する
なぜそれが重要なのか
- 速度とスケール. 言語ワークフローは、一貫性を犠牲にすることなく、より高速に移行できます。
- アクセスと到達範囲. 言語やコミュニケーション スタイルを超えてアクセスが拡張されます。
- より明確な判決. 自動化が繰り返しを処理する間、チームは判断により多くの時間を費やすことができます。
気をつけてください
- 幻覚のような事実が、レポート、サポート フロー、または研究結果に静かに組み込まれる可能性があります。
- 迅速な対応により、同様のリクエスト間で一貫性のない結果が生じる可能性があります。
- アクセス制御が弱いと、機密テキスト データが漏洩する可能性があります。
次のステップ
- 展開する前に、出力形式、トーン、品質基準を定義します。
- 正確さが重要な場合は常に、信頼できる情報源を使って地上対応を行ってください。
- 一か八かの成果物については人間によるレビュー チェックポイントを維持します。
- 失敗パターンを追跡し、プロンプトやワークフローを定期的に再トレーニングします。
探検を続けましょう
よくある質問
リジェクションサンプリング微調整とは何ですか?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
リジェクション サンプリングの微調整によってモデルがどのように改善されるかを最もよく説明しているのはどのループですか?
RFT は複数の回答をサンプリングし、最もスコアの高い回答をフィルタリングし、それらの勝者に基づいてモデルを微調整します。
数学やコードなどの検証可能な領域では、何が報酬として機能するのでしょうか?
チェック可能なタスクの場合、RFT は正確な正確性を使用するか単体テストに合格することで、学習された報酬モデルを回避できます。
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
最大報酬サンプルでのトレーニングは効果的に何をしますか?
フィルタリングされた上位の応答から学習することにより、モデルは 1 世代でより高品質の動作を内部化します。