Technischer Leitfaden

Gruppenrelative Richtlinienoptimierung

Group Relative Policy Optimization (GRPO) ist eine Methode des verstärkenden Lernens zur Feinabstimmung von Sprachmodellen, die jede Antwort anhand einer Gruppe von Geschwisterantworten auf dieselbe Eingabeaufforderung beurteilt und so das von PPO verwendete separate Wertnetzwerk eliminiert.

Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min

Auf dieser Seite2 Minuten gelesen
  1. Übersicht
  2. Tiefer Einblick
  3. Reale Umsetzung
  4. Die Zukunft der gruppenbezogenen Richtlinienoptimierung
  5. In die Tat umsetzen
  6. Entdecken Sie weiter
  7. Häufig gestellte Fragen

Übersicht

It became famous as the core training trick behind DeepSeek's reasoning models.

Tiefer Einblick

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

Reale Umsetzung

Trainieren Sie DeepSeek-R1 und DeepSeekMath, um lange Gedankenketten mithilfe regelbasierter Korrektheitsbelohnungen bei mathematischen Problemen zu erstellen

Feinabstimmung von Codegenerierungsmodellen, bei denen jede Stichprobenlösung danach bewertet wird, ob sie Unit-Tests besteht, und die Gruppe normalisiert wird, um Gewinner auszuwählen

Open-Source-RLHF-Pipelines (z. B. in TRL- und Verl-Bibliotheken), die GRPO verwenden, um Chat-Modelle auszurichten, ohne für ein separates Wertnetzwerk zu bezahlen

Verbesserung der Befolgung von Anweisungen oder des Sicherheitsverhaltens durch Auswahl mehrerer Antworten pro Eingabeaufforderung und Belohnung derjenigen, die ein Belohnungsmodell im Vergleich zu ihren Mitbewerbern am höchsten bewertet

Die Zukunft der gruppenbezogenen Richtlinienoptimierung

GRPO hat sich schnell zu einem Standardrezept für das Training offener Argumentationsmodelle entwickelt, und Labore iterieren an seinen Schwachstellen. Forscher erforschen Korrekturen für Längen- und Schwierigkeitsverzerrungen (wie Dr. GRPO), eine Normalisierung auf Token- statt auf Sequenzebene sowie das Entfernen oder Umformen des KL-Begriffs. Erwarten Sie eine engere Integration mit überprüfbaren Belohnungen (Mathematik, Code, Tool-Nutzung), einen besseren Umgang mit spärlichen Signalen und Hybriden, die Gruppen-Baselines mit einfachen Kritikern für agentische, mehrstufige Aufgaben kombinieren.

In die Tat umsetzen

Warum es wichtig ist

  • Kosten und Budget. Architekturentscheidungen beeinflussen über Jahre hinweg die Leistung und die Betriebskosten.
  • Klarere Entscheidungen. Technische Schulungen helfen Teams dabei, den richtigen Stack auszuwählen, nicht nur den neuesten.
  • Qualitätskontrolle. Bessere technische Entscheidungen reduzieren Zuverlässigkeitsvorfälle in der Produktion.

Achten Sie auf

  • Die Optimierung eines Benchmarks kann umfassendere Systemschwächen verbergen.
  • Infrastruktur- und Wartungskosten werden oft unterschätzt.
  • Sicherheits- und Beobachtbarkeitslücken können größer werden, wenn die Systeme komplexer werden.

Nächste Schritte

  1. Definieren Sie vor der Implementierung Latenz-, Qualitäts- und Kostenziele.
  2. Benchmark unter realistischen Last- und Datenbedingungen.
  3. Instrumentenüberwachung auf Fehler, Drift und Benutzereinflüsse.
  4. Bereiten Sie vor der Skalierung Rollback- und Incident-Response-Pfade vor.

Entdecken Sie weiter

Kostenloser Newsletter

Erhalten Sie die tägliche KI-Briefing

Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.

Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.

Testen Sie sich selbst

Take the Group Relative Policy Optimization quiz

Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.

Quiz starten

Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende

Häufig gestellte Fragen

What is Group Relative Policy Optimization?

Group Relative Policy Optimization (GRPO) ist eine Methode des verstärkenden Lernens zur Feinabstimmung von Sprachmodellen, die jede Antwort anhand einer Gruppe von Geschwisterantworten auf dieselbe Eingabeaufforderung beurteilt und so das von PPO verwendete separate Wertnetzwerk eliminiert. Es wurde als zentraler Trainingstrick hinter den Argumentationsmodellen von DeepSeek berühmt.

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

Wie berechnet GRPO den Vorteil für eine bestimmte Fertigstellung?

Der Vorteil jeder Vervollständigung beträgt (Belohnung – Gruppenmittelwert) / Gruppenstandardabweichung, sodass die Gruppe der Antworten auf dieselbe Eingabeaufforderung als Basislinie dient.

Welche Modelle haben GRPO bekannt gemacht?

GRPO wurde von DeepSeek eingeführt und populär gemacht, insbesondere in DeepSeekMath und als RL-Engine hinter den DeepSeek-R1-Argumentationsmodellen.

Welche Rolle spielt der KL-Divergenzterm in GRPO?

Eine KL-Strafe gegen ein Referenzmodell (normalerweise das Vor-RL-Modell) reguliert das Training, sodass sich die Richtlinie verbessert, ohne zusammenzubrechen oder in degenerierte Ergebnisse abzudriften.

Warum ist GRPO besonders attraktiv für das Training von Argumentationsmodellen in Mathematik oder Code?

Die Stichprobe vieler Lösungen und deren Bewertung mit automatischen Korrektheitsprüfungen passt perfekt zu den gruppennormalisierten Vorteilen von GRPO, es ist keine Kritik erforderlich.