Als nächstesNächster Leitfaden
Proximale Richtlinienoptimierung
Sprach-KI
Technischer Leitfaden
Group Relative Policy Optimization (GRPO) ist eine Methode des verstärkenden Lernens zur Feinabstimmung von Sprachmodellen, die jede Antwort anhand einer Gruppe von Geschwisterantworten auf dieselbe Eingabeaufforderung beurteilt und so das von PPO verwendete separate Wertnetzwerk eliminiert.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
It became famous as the core training trick behind DeepSeek's reasoning models.
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Trainieren Sie DeepSeek-R1 und DeepSeekMath, um lange Gedankenketten mithilfe regelbasierter Korrektheitsbelohnungen bei mathematischen Problemen zu erstellen
Feinabstimmung von Codegenerierungsmodellen, bei denen jede Stichprobenlösung danach bewertet wird, ob sie Unit-Tests besteht, und die Gruppe normalisiert wird, um Gewinner auszuwählen
Open-Source-RLHF-Pipelines (z. B. in TRL- und Verl-Bibliotheken), die GRPO verwenden, um Chat-Modelle auszurichten, ohne für ein separates Wertnetzwerk zu bezahlen
Verbesserung der Befolgung von Anweisungen oder des Sicherheitsverhaltens durch Auswahl mehrerer Antworten pro Eingabeaufforderung und Belohnung derjenigen, die ein Belohnungsmodell im Vergleich zu ihren Mitbewerbern am höchsten bewertet
GRPO hat sich schnell zu einem Standardrezept für das Training offener Argumentationsmodelle entwickelt, und Labore iterieren an seinen Schwachstellen. Forscher erforschen Korrekturen für Längen- und Schwierigkeitsverzerrungen (wie Dr. GRPO), eine Normalisierung auf Token- statt auf Sequenzebene sowie das Entfernen oder Umformen des KL-Begriffs. Erwarten Sie eine engere Integration mit überprüfbaren Belohnungen (Mathematik, Code, Tool-Nutzung), einen besseren Umgang mit spärlichen Signalen und Hybriden, die Gruppen-Baselines mit einfachen Kritikern für agentische, mehrstufige Aufgaben kombinieren.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Group Relative Policy Optimization (GRPO) ist eine Methode des verstärkenden Lernens zur Feinabstimmung von Sprachmodellen, die jede Antwort anhand einer Gruppe von Geschwisterantworten auf dieselbe Eingabeaufforderung beurteilt und so das von PPO verwendete separate Wertnetzwerk eliminiert. Es wurde als zentraler Trainingstrick hinter den Argumentationsmodellen von DeepSeek berühmt.
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Der Vorteil jeder Vervollständigung beträgt (Belohnung – Gruppenmittelwert) / Gruppenstandardabweichung, sodass die Gruppe der Antworten auf dieselbe Eingabeaufforderung als Basislinie dient.
GRPO wurde von DeepSeek eingeführt und populär gemacht, insbesondere in DeepSeekMath und als RL-Engine hinter den DeepSeek-R1-Argumentationsmodellen.
Eine KL-Strafe gegen ein Referenzmodell (normalerweise das Vor-RL-Modell) reguliert das Training, sodass sich die Richtlinie verbessert, ohne zusammenzubrechen oder in degenerierte Ergebnisse abzudriften.
Die Stichprobe vieler Lösungen und deren Bewertung mit automatischen Korrektheitsprüfungen passt perfekt zu den gruppennormalisierten Vorteilen von GRPO, es ist keine Kritik erforderlich.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Proximale Richtlinienoptimierung
Sprach-KI