Technische GIDS

Groepsrelatieve beleidsoptimalisatie

Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd.

Luister naar deze gidsAI-verteld · ~2 min

Op deze pagina2 min lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van relatieve groepsbeleidsoptimalisatie
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het werd beroemd als de belangrijkste trainingstruc achter de redeneermodellen van DeepSeek.

Diepe duik

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

Implementatie in de echte wereld

Trainen van DeepSeek-R1 en DeepSeekMath om een lange gedachtegang te produceren met behulp van op regels gebaseerde correctheidsbeloningen bij wiskundige problemen

Het verfijnen van modellen voor het genereren van code waarbij elke bemonsterde oplossing wordt beoordeeld op basis van het feit of deze de unit-tests doorstaat, en de groep wordt genormaliseerd om winnaars te kiezen

Open-source RLHF-pijplijnen (bijvoorbeeld in TRL- en verl-bibliotheken) die GRPO gebruiken om chatmodellen op elkaar af te stemmen zonder te betalen voor een afzonderlijk waardenetwerk

Het verbeteren van het volgen van instructies of het veiligheidsgedrag door meerdere reacties per prompt te bemonsteren en de reacties te belonen die een beloningsmodel het hoogst scoort in vergelijking met hun leeftijdsgenoten

De toekomst van relatieve groepsbeleidsoptimalisatie

GRPO is in snel tempo een standaardrecept geworden voor het trainen van open redeneermodellen, en laboratoria herhalen de zwakke plekken ervan. Onderzoekers onderzoeken oplossingen voor vooroordelen over lengte en moeilijkheidsgraad (zoals Dr. GRPO), normalisatie op tokenniveau in plaats van op sequentieniveau, en verwijderen of hervormen de KL-term. Verwacht een nauwere integratie met verifieerbare beloningen (wiskunde, code, gebruik van tools), betere afhandeling van schaarse signalen en hybriden die groepsbasislijnen combineren met lichtgewicht critici voor agentische, uit meerdere stappen bestaande taken.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Group Relative Policy Optimization quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is groepsrelatieve beleidsoptimalisatie?

Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd. Het werd beroemd als de belangrijkste trainingstruc achter de redeneermodellen van DeepSeek.

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

Hoe berekent GRPO het voordeel voor een bepaalde voltooiing?

Het voordeel van elke voltooiing is (beloning - groepsgemiddelde) / standaardafwijking van de groep, dus de groep antwoorden op dezelfde prompt fungeert als basislijn.

Welke modellen hebben GRPO bekend gemaakt?

GRPO werd geïntroduceerd en gepopulariseerd door DeepSeek, met name in DeepSeekMath en als de RL-motor achter de DeepSeek-R1-redeneermodellen.

Welke rol speelt de KL-divergentieterm in GRPO?

Een KL-boete tegen een referentiemodel (meestal het pre-RL-model) regulariseert de training, zodat het beleid verbetert zonder in te storten of af te glijden naar gedegenereerde resultaten.

Waarom is GRPO vooral aantrekkelijk voor het trainen van redeneermodellen op het gebied van wiskunde of code?

Het bemonsteren van vele oplossingen en het scoren ervan met automatische correctheidscontroles sluit naadloos aan bij de groepsgenormaliseerde voordelen van GRPO, zonder dat er een criticus nodig is.