テクニカルガイド
グループ相対ポリシーの最適化
Group Relative Policy Optimization (GRPO) は、同じプロンプトに対する兄弟回答のグループに対して各回答を判断する、言語モデルを微調整するための強化学習手法であり、PPO で使用される個別の値ネットワークを排除します。
このガイドを聴くAIによるナレーション · ~2 min
概要
It became famous as the core training trick behind DeepSeek's reasoning models.
ディープダイブ
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
現実世界の実装
DeepSeek-R1 と DeepSeekMath をトレーニングして、数学の問題に対するルールベースの正解報酬を使用して長い思考連鎖推論を生成する
サンプルされた各ソリューションが単体テストに合格するかどうかによってスコア付けされ、勝者を選択するためにグループが正規化される、コード生成モデルの微調整
GRPO を使用したオープンソース RLHF パイプライン (TRL および verl ライブラリなど) により、個別のバリュー ネットワークに料金を支払うことなくチャット モデルを調整できます。
プロンプトごとに複数の応答をサンプリングし、報酬モデルで他の応答と比べて最も高い評価を与えたものに報酬を与えることで、指示に従う行動や安全行動を改善します。
グループ相対ポリシー最適化の将来
GRPO はオープン推論モデルをトレーニングするためのデフォルトのレシピとして急速に普及しており、研究室はその弱点について繰り返し研究を行っています。研究者たちは、長さと難易度のバイアス (GRPO 博士など) の修正、シーケンス レベルではなくトークン レベルの正規化、KL 用語の削除または再構成を検討しています。検証可能な報酬 (数学、コード、ツールの使用) との緊密な統合、スパース信号のより適切な処理、およびエージェント的なマルチステップ タスクに対するグループ ベースラインと軽量の批評家を組み合わせたハイブリッドが期待されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is Group Relative Policy Optimization?
Group Relative Policy Optimization (GRPO) は、同じプロンプトに対する兄弟回答のグループに対して各回答を判断する、言語モデルを微調整するための強化学習手法であり、PPO で使用される個別の値ネットワークを排除します。これは、DeepSeek の推論モデルの背後にある中核となるトレーニング トリックとして有名になりました。
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO は特定の完了に対する利点をどのように計算しますか?
各完了の利点は (報酬 - グループ平均) / グループ標準偏差であるため、同じプロンプトに対する回答のグループがベースラインとして機能します。
GRPO を有名にしたのはどのモデルですか?
GRPO は、DeepSeek、特に DeepSeekMath および DeepSeek-R1 推論モデルの背後にある RL エンジンとして導入され普及しました。
KL ダイバージェンス項は GRPO においてどのような役割を果たしますか?
参照 (通常は RL より前) モデルに対する KL ペナルティはトレーニングを正規化するため、ポリシーが崩壊したり縮退した出力に流れ込むことなく改善されます。
GRPO が数学やコードで推論モデルをトレーニングするのに特に魅力的なのはなぜですか?
多くのソリューションをサンプリングし、自動正確性チェックでそれらをスコアリングすることは、GRPO のグループ正規化の利点ときれいに組み合わされており、批評家は必要ありません。