LegközelebbKövetkező útmutató
Proximális házirend optimalizálása
Nyelvi AI
Műszaki ÚTMUTATÓ
A Group Relative Policy Optimization (GRPO) egy megerősítő-tanulási módszer a nyelvi modellek finomhangolásához, amely minden választ az ugyanazon prompthoz adott testvérválaszok csoportjához viszonyít, kiküszöbölve a PPO által használt különálló értékhálózatot.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It became famous as the core training trick behind DeepSeek's reasoning models.
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
A DeepSeek-R1 és a DeepSeekMath betanítása hosszú gondolati láncú érvelés előállításához, matematikai feladatok szabályalapú helyességjutalmazásával
A kódgenerálási modellek finomhangolása, ahol minden mintavételezett megoldást aszerint pontoznak, hogy megfelelt-e az egységteszteken, és a csoportot normalizálják a győztesek kiválasztásához
Nyílt forráskódú RLHF-folyamatok (pl. TRL és verl könyvtárakban), amelyek GRPO-t használnak a csevegési modellek összehangolására anélkül, hogy külön értékhálózatért kellene fizetni
Az utasítások követésének vagy biztonsági viselkedésének javítása felszólításonként több válasz mintavételével, és jutalmazzuk azokat, amelyeknek jutalmazási modellje a társaikhoz képest a legmagasabb.
A GRPO gyorsan a nyílt gondolkodási modellek képzésének alapértelmezett receptjévé vált, és a laboratóriumok ismétlődnek a gyenge pontjain. A kutatók a hossz- és nehézségi torzítások (mint például a Dr. GRPO), a token-szintű normalizálás, nem pedig a szekvenciaszintű normalizálás, valamint a KL-kifejezés eltávolítását vagy átalakítását vizsgálják. Szorosabb integrációra számíthat, ellenőrizhető jutalmakkal (matematika, kód, eszközhasználat), a ritka jelek jobb kezelésével, valamint olyan hibridekkel, amelyek egyesítik a csoport alapvonalait könnyű kritikusokkal az ügynöki, többlépcsős feladatokhoz.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Group Relative Policy Optimization (GRPO) egy megerősítő-tanulási módszer a nyelvi modellek finomhangolásához, amely minden választ az ugyanazon prompthoz adott testvérválaszok csoportjához viszonyít, kiküszöbölve a PPO által használt különálló értékhálózatot. A DeepSeek érvelési modelljei mögött meghúzódó alapvető tréningtrükkként vált híressé.
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Minden teljesítés előnye (jutalom - csoport átlaga) / csoport szórása, így az azonos kérdésre adott válaszok csoportja az alapvonalat jelenti.
A GRPO-t a DeepSeek vezette be és népszerűsítette, különösen a DeepSeekMath-ban és a DeepSeek-R1 gondolkodási modellek mögötti RL motorként.
A referencia (általában az RL előtti) modell ellen adott KL büntetés rendszeresíti a képzést, így a politika javul anélkül, hogy összeomlana vagy degenerált kimenetekké sodródna.
Számos megoldás mintavétele és automatikus helyesség-ellenőrzéssel történő pontozása tisztán párosul a GRPO csoportnormalizált előnyeivel, nincs szükség kritikára.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Proximális házirend optimalizálása
Nyelvi AI