Műszaki ÚTMUTATÓ

Csoportos relatív házirend optimalizálása

A Group Relative Policy Optimization (GRPO) egy megerősítő-tanulási módszer a nyelvi modellek finomhangolásához, amely minden választ az ugyanazon prompthoz adott testvérválaszok csoportjához viszonyít, kiküszöbölve a PPO által használt különálló értékhálózatot.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A csoportos relatív irányelvek optimalizálásának jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It became famous as the core training trick behind DeepSeek's reasoning models.

Mély merülés

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

Valós megvalósítás

A DeepSeek-R1 és a DeepSeekMath betanítása hosszú gondolati láncú érvelés előállításához, matematikai feladatok szabályalapú helyességjutalmazásával

A kódgenerálási modellek finomhangolása, ahol minden mintavételezett megoldást aszerint pontoznak, hogy megfelelt-e az egységteszteken, és a csoportot normalizálják a győztesek kiválasztásához

Nyílt forráskódú RLHF-folyamatok (pl. TRL és verl könyvtárakban), amelyek GRPO-t használnak a csevegési modellek összehangolására anélkül, hogy külön értékhálózatért kellene fizetni

Az utasítások követésének vagy biztonsági viselkedésének javítása felszólításonként több válasz mintavételével, és jutalmazzuk azokat, amelyeknek jutalmazási modellje a társaikhoz képest a legmagasabb.

A csoportos relatív irányelvek optimalizálásának jövője

A GRPO gyorsan a nyílt gondolkodási modellek képzésének alapértelmezett receptjévé vált, és a laboratóriumok ismétlődnek a gyenge pontjain. A kutatók a hossz- és nehézségi torzítások (mint például a Dr. GRPO), a token-szintű normalizálás, nem pedig a szekvenciaszintű normalizálás, valamint a KL-kifejezés eltávolítását vagy átalakítását vizsgálják. Szorosabb integrációra számíthat, ellenőrizhető jutalmakkal (matematika, kód, eszközhasználat), a ritka jelek jobb kezelésével, valamint olyan hibridekkel, amelyek egyesítik a csoport alapvonalait könnyű kritikusokkal az ügynöki, többlépcsős feladatokhoz.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Group Relative Policy Optimization quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Group Relative Policy Optimization?

A Group Relative Policy Optimization (GRPO) egy megerősítő-tanulási módszer a nyelvi modellek finomhangolásához, amely minden választ az ugyanazon prompthoz adott testvérválaszok csoportjához viszonyít, kiküszöbölve a PPO által használt különálló értékhálózatot. A DeepSeek érvelési modelljei mögött meghúzódó alapvető tréningtrükkként vált híressé.

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

Hogyan számítja ki a GRPO egy adott teljesítési előnyt?

Minden teljesítés előnye (jutalom - csoport átlaga) / csoport szórása, így az azonos kérdésre adott válaszok csoportja az alapvonalat jelenti.

Mely modellek tették ismertté a GRPO-t?

A GRPO-t a DeepSeek vezette be és népszerűsítette, különösen a DeepSeekMath-ban és a DeepSeek-R1 gondolkodási modellek mögötti RL motorként.

Milyen szerepet játszik a KL-divergencia kifejezés a GRPO-ban?

A referencia (általában az RL előtti) modell ellen adott KL büntetés rendszeresíti a képzést, így a politika javul anélkül, hogy összeomlana vagy degenerált kimenetekké sodródna.

Miért különösen vonzó a GRPO a matematikai vagy kódolási gondolkodási modellek képzéséhez?

Számos megoldás mintavétele és automatikus helyesség-ellenőrzéssel történő pontozása tisztán párosul a GRPO csoportnormalizált előnyeivel, nincs szükség kritikára.