À suivreGuide suivant
Normalisation de la longueur dans l'optimisation des préférences
Fondamentaux
GUIDE des fondamentaux
Normalisation des récompenses groupées dans RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Plongée profonde
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Mise en œuvre dans le monde réel
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
L'avenir de la normalisation des récompenses groupées dans le RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où la normalisation des récompenses groupées dans RLHF est utile et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Grouped Reward Normalization in RLHF quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que la normalisation des récompenses groupées dans RLHF ?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Dans la normalisation des récompenses groupées, à quoi est comparée la récompense de chaque réponse ?
Chaque récompense est convertie en un score z en utilisant la moyenne et l'écart type du groupe de réponses à la même invite.
Quel algorithme est le plus associé à la normalisation des récompenses groupées ?
GRPO, introduit par DeepSeek et utilisé dans DeepSeek-R1, est construit autour de la normalisation des récompenses au sein d'un groupe.
Quelle composante du PPO standard le GRPO élimine-t-il notamment ?
En utilisant la moyenne du groupe comme référence, GRPO abandonne le critique érudit, économisant ainsi la mémoire et le calcul.
Qu'arrive-t-il à une réponse dont la récompense est inférieure à la moyenne de son groupe ?
En soustrayant la moyenne du groupe, les réponses inférieures à la moyenne présentent un avantage négatif, ce qui éloigne la politique.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet