基本ガイド
RLHF におけるグループ化された報酬の正規化
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
このガイドを聴くAIによるナレーション · ~2 min
概要
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
ディープダイブ
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
現実世界の実装
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
RLHF におけるグループ化された報酬正規化の将来
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
実践する
なぜそれが重要なのか
- より明確な判決. これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
- 費用と予算. お金や時間を費やす前に、実装に関するより良い質問をすることができます。
- チームとワークフロー. 共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
気をつけてください
- チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
- ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
- データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
次のステップ
- 必要な結果を平易な言葉で定義することから始めます。
- テストする前に、成功指標と失敗条件を 1 つ選択します。
- 洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
- RLHF のグループ化された報酬正規化がどのような場合に役立ち、より単純な方法の方が優れているのかを文書化します。
探検を続けましょう
よくある質問
RLHF におけるグループ化された報酬の正規化とは何ですか?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
グループ化された報酬の正規化では、各応答の報酬は何と比較されますか?
各報酬は、同じプロンプトに対する応答グループの平均と標準偏差を使用して Z スコアに変換されます。
グループ化された報酬の正規化に最も関連しているアルゴリズムはどれですか?
DeepSeek によって導入され、DeepSeek-R1 で使用されている GRPO は、グループ内の報酬の正規化を中心に構築されています。
GRPO が特に排除する標準 PPO のコンポーネントは何ですか?
グループ平均をベースラインとして使用することにより、GRPO は学習された批評家を削除し、メモリとコンピューティングを節約します。
報酬がグループの平均を下回る応答はどうなりますか?
グループ平均を減算すると、平均を下回る回答にはマイナスの利点があり、政策がそれらから遠ざけられます。
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.