Groepsrelatieve beleidsoptimalisatie
Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd.
Overzicht
It became famous as the core training trick behind DeepSeek's reasoning models.
Diepe duik
GRPO is een variant van leren op het gebied van beleidsgradiëntversterking, ontworpen om RL-verfijning van grote taalmodellen goedkoper en stabieler te maken. Standaard PPO heeft een geleerde 'criticus' (waardemodel) nodig, ongeveer zo groot als het beleid zelf, om in te schatten hoe goed elk token is. GRPO verwijdert die criticus volledig. Voor elke prompt bemonstert het een groep voltooiingen (bijvoorbeeld 8-64), scoort ze allemaal met een beloningssignaal en berekent vervolgens het voordeel van elke voltooiing door de beloning te standaardiseren tegen het gemiddelde en de standaarddeviatie van de groep. Bovengemiddelde antwoorden worden versterkt en benedengemiddelde antwoorden onderdrukt. Een KL-divergentieterm houdt het model dicht bij een referentiebeleid. Geïntroduceerd door DeepSeek, dreef het DeepSeekMath en de DeepSeek-R1 redeneermodellen aan.
Technisch inzicht
Het belangrijkste idee is het vervangen van de aangeleerde waardenbasislijn van PPO door een Monte Carlo-groepsbasislijn. Voor een groep outputs met beloningen r_i is elk voordeel A_i = (r_i - mean(r)) / std(r). Die genormaliseerde score vermenigvuldigt de afgekapte waarschijnlijkheidsratio, precies zoals bij PPO, en een KL-straf tegen een bevroren referentiemodel beperkt de drift. Omdat er geen criticus is opgeleid, halveren het geheugen en de rekenkracht grofweg, en levert de per-prompt-normalisatie op natuurlijke schaal voordelen met lage variantie op.
Strategische impact
Cost and budget
Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
Clearer decisions
Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
Quality control
Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
De toekomst van relatieve groepsbeleidsoptimalisatie
GRPO is in snel tempo een standaardrecept geworden voor het trainen van open redeneermodellen, en laboratoria herhalen de zwakke plekken ervan. Onderzoekers onderzoeken oplossingen voor vooroordelen over lengte en moeilijkheidsgraad (zoals Dr. GRPO), normalisatie op tokenniveau in plaats van op sequentieniveau, en verwijderen of hervormen de KL-term. Verwacht een nauwere integratie met verifieerbare beloningen (wiskunde, code, gebruik van tools), betere afhandeling van schaarse signalen en hybriden die groepsbasislijnen combineren met lichtgewicht critici voor agentische, uit meerdere stappen bestaande taken.
Implementatie in de echte wereld
Trainen van DeepSeek-R1 en DeepSeekMath om een lange gedachtegang te produceren met behulp van op regels gebaseerde correctheidsbeloningen bij wiskundige problemen
Het verfijnen van modellen voor het genereren van code waarbij elke bemonsterde oplossing wordt beoordeeld op basis van het feit of deze de unit-tests doorstaat, en de groep wordt genormaliseerd om winnaars te kiezen
Open-source RLHF-pijplijnen (bijvoorbeeld in TRL- en verl-bibliotheken) die GRPO gebruiken om chatmodellen op elkaar af te stemmen zonder te betalen voor een afzonderlijk waardenetwerk
Het verbeteren van het volgen van instructies of het veiligheidsgedrag door meerdere reacties per prompt te bemonsteren en de reacties te belonen die een beloningsmodel het hoogst scoort in vergelijking met hun leeftijdsgenoten
Risico's en vangrails
Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
Infrastructuur- en onderhoudskosten worden vaak onderschat.
De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Implementatie routekaart
Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
Benchmark onder realistische belasting- en gegevensomstandigheden.
Instrumentbewaking op fouten, drift en gebruikersimpact.
Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Proximale beleidsoptimalisatie
Frequently asked questions
What is Group Relative Policy Optimization?
Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd. Het werd beroemd als de belangrijkste trainingstruc achter de redeneermodellen van DeepSeek.
Welk belangrijk onderdeel van PPO elimineert GRPO?
De kenmerkende verandering van GRPO is het schrappen van het aangeleerde waarde/kritische model van PPO, dat normaal gesproken ongeveer even groot is als het beleid, waardoor aanzienlijk geheugen en rekenkracht worden bespaard.
Hoe berekent GRPO het voordeel voor een bepaalde voltooiing?
Het voordeel van elke voltooiing is (beloning - groepsgemiddelde) / standaardafwijking van de groep, dus de groep antwoorden op dezelfde prompt fungeert als basislijn.
Welke modellen hebben GRPO bekend gemaakt?
GRPO werd geïntroduceerd en gepopulariseerd door DeepSeek, met name in DeepSeekMath en als de RL-motor achter de DeepSeek-R1-redeneermodellen.
Welke rol speelt de KL-divergentieterm in GRPO?
Een KL-boete tegen een referentiemodel (meestal het pre-RL-model) regulariseert de training, zodat het beleid verbetert zonder in te storten of af te glijden naar gedegenereerde resultaten.
Waarom is GRPO vooral aantrekkelijk voor het trainen van redeneermodellen op het gebied van wiskunde of code?
Het bemonsteren van vele oplossingen en het scoren ervan met automatische correctheidscontroles sluit naadloos aan bij de groepsgenormaliseerde voordelen van GRPO, zonder dat er een criticus nodig is.