Technische GIDS
Groepsrelatieve beleidsoptimalisatie
Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd.
Luister naar deze gidsAI-verteld · ~2 min
Op deze pagina2 min lezen
Overzicht
Het werd beroemd als de belangrijkste trainingstruc achter de redeneermodellen van DeepSeek.
Diepe duik
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Implementatie in de echte wereld
Trainen van DeepSeek-R1 en DeepSeekMath om een lange gedachtegang te produceren met behulp van op regels gebaseerde correctheidsbeloningen bij wiskundige problemen
Het verfijnen van modellen voor het genereren van code waarbij elke bemonsterde oplossing wordt beoordeeld op basis van het feit of deze de unit-tests doorstaat, en de groep wordt genormaliseerd om winnaars te kiezen
Open-source RLHF-pijplijnen (bijvoorbeeld in TRL- en verl-bibliotheken) die GRPO gebruiken om chatmodellen op elkaar af te stemmen zonder te betalen voor een afzonderlijk waardenetwerk
Het verbeteren van het volgen van instructies of het veiligheidsgedrag door meerdere reacties per prompt te bemonsteren en de reacties te belonen die een beloningsmodel het hoogst scoort in vergelijking met hun leeftijdsgenoten
De toekomst van relatieve groepsbeleidsoptimalisatie
GRPO is in snel tempo een standaardrecept geworden voor het trainen van open redeneermodellen, en laboratoria herhalen de zwakke plekken ervan. Onderzoekers onderzoeken oplossingen voor vooroordelen over lengte en moeilijkheidsgraad (zoals Dr. GRPO), normalisatie op tokenniveau in plaats van op sequentieniveau, en verwijderen of hervormen de KL-term. Verwacht een nauwere integratie met verifieerbare beloningen (wiskunde, code, gebruik van tools), betere afhandeling van schaarse signalen en hybriden die groepsbasislijnen combineren met lichtgewicht critici voor agentische, uit meerdere stappen bestaande taken.
Het in de praktijk brengen
Waarom het ertoe doet
- Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
- Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
- Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.
Pas op voor
- Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
- Infrastructuur- en onderhoudskosten worden vaak onderschat.
- De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.
Volgende stappen
- Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
- Benchmark onder realistische belasting- en gegevensomstandigheden.
- Instrumentbewaking op fouten, drift en gebruikersimpact.
- Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.
Blijf verkennen
Gratis nieuwsbrief
Ontvang de dagelijkse AI-briefing
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Take the Group Relative Policy Optimization quiz
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Veelgestelde vragen
Wat is groepsrelatieve beleidsoptimalisatie?
Group Relative Policy Optimization (GRPO) is een leermethode voor het verfijnen van taalmodellen, waarbij elk antwoord wordt beoordeeld aan de hand van een groep antwoorden op dezelfde vraag, waardoor het afzonderlijke waardenetwerk dat door PPO wordt gebruikt, wordt geëlimineerd. Het werd beroemd als de belangrijkste trainingstruc achter de redeneermodellen van DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Hoe berekent GRPO het voordeel voor een bepaalde voltooiing?
Het voordeel van elke voltooiing is (beloning - groepsgemiddelde) / standaardafwijking van de groep, dus de groep antwoorden op dezelfde prompt fungeert als basislijn.
Welke modellen hebben GRPO bekend gemaakt?
GRPO werd geïntroduceerd en gepopulariseerd door DeepSeek, met name in DeepSeekMath en als de RL-motor achter de DeepSeek-R1-redeneermodellen.
Welke rol speelt de KL-divergentieterm in GRPO?
Een KL-boete tegen een referentiemodel (meestal het pre-RL-model) regulariseert de training, zodat het beleid verbetert zonder in te storten of af te glijden naar gedegenereerde resultaten.
Waarom is GRPO vooral aantrekkelijk voor het trainen van redeneermodellen op het gebied van wiskunde of code?
Het bemonsteren van vele oplossingen en het scoren ervan met automatische correctheidscontroles sluit naadloos aan bij de groepsgenormaliseerde voordelen van GRPO, zonder dat er een criticus nodig is.
Blijf leren
Gerelateerde gidsen
Er zijn meer handleidingen voor dit onderwerp geselecteerd