À suivreGuide suivant
Optimisation des politiques proximales
IA linguistique
GUIDE Technique
Optimisation de la politique relative du groupe
L'optimisation de la politique relative de groupe (GRPO) est une méthode d'apprentissage par renforcement permettant d'affiner les modèles de langage qui juge chaque réponse par rapport à un groupe de réponses frères et sœurs à la même invite, éliminant ainsi le réseau de valeurs distinct utilisé par PPO.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
It became famous as the core training trick behind DeepSeek's reasoning models.
Plongée profonde
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Mise en œuvre dans le monde réel
Entraîner DeepSeek-R1 et DeepSeekMath pour produire un raisonnement à longue chaîne de pensée en utilisant des récompenses d'exactitude basées sur des règles sur des problèmes mathématiques
Affiner les modèles de génération de code dans lesquels chaque solution échantillonnée est notée selon qu'elle réussit les tests unitaires, et le groupe est normalisé pour choisir les gagnants
Pipelines RLHF open source (par exemple, dans les bibliothèques TRL et verl) utilisant GRPO pour aligner les modèles de discussion sans payer pour un réseau de valeur distinct
Améliorer le respect des instructions ou le comportement de sécurité en échantillonnant plusieurs réponses par invite et en récompensant celles qu'un modèle de récompense obtient les notes les plus élevées par rapport à leurs pairs
L’avenir de l’optimisation des politiques relatives de groupe
GRPO est rapidement devenu une recette par défaut pour former des modèles de raisonnement ouverts, et les laboratoires itèrent sur ses points faibles. Les chercheurs explorent des correctifs pour les biais de longueur et de difficulté (comme le Dr GRPO), la normalisation au niveau du jeton plutôt qu'au niveau de la séquence, et suppriment ou remodèlent le terme KL. Attendez-vous à une intégration plus étroite avec des récompenses vérifiables (mathématiques, code, utilisation d'outils), une meilleure gestion des signaux clairsemés et des hybrides combinant des lignes de base de groupe avec des critiques légères pour des tâches agentiques en plusieurs étapes.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Group Relative Policy Optimization quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
What is Group Relative Policy Optimization?
L'optimisation de la politique relative de groupe (GRPO) est une méthode d'apprentissage par renforcement permettant d'affiner les modèles de langage qui juge chaque réponse par rapport à un groupe de réponses frères et sœurs à la même invite, éliminant ainsi le réseau de valeurs distinct utilisé par PPO. Il est devenu célèbre comme étant l'astuce de formation principale derrière les modèles de raisonnement de DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Comment GRPO calcule-t-il l’avantage pour un achèvement donné ?
L'avantage de chaque achèvement est (récompense - moyenne du groupe) / écart type du groupe, de sorte que le groupe de réponses à la même invite sert de référence.
Quels modèles ont fait connaître GRPO ?
GRPO a été introduit et popularisé par DeepSeek, notamment dans DeepSeekMath et en tant que moteur RL derrière les modèles de raisonnement DeepSeek-R1.
Quel rôle le terme de divergence KL joue-t-il dans GRPO ?
Une pénalité KL par rapport à un modèle de référence (généralement le modèle pré-RL) régularise la formation afin que la politique s'améliore sans s'effondrer ou dériver vers des résultats dégénérés.
Pourquoi GRPO est-il particulièrement intéressant pour former des modèles de raisonnement sur les mathématiques ou le code ?
L'échantillonnage de nombreuses solutions et leur notation avec des contrôles automatiques d'exactitude s'associent parfaitement aux avantages normalisés de groupe de GRPO, aucun critique n'est nécessaire.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet