Technický PRŮVODCE

Optimalizace relativních zásad skupiny

Group Relative Policy Optimization (GRPO) je metoda posílení a učení pro dolaďování jazykových modelů, která posuzuje každou odpověď proti skupině sourozeneckých odpovědí na stejnou výzvu, čímž eliminuje samostatnou hodnotovou síť používanou PPO.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost optimalizace relativních zásad skupiny
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It became famous as the core training trick behind DeepSeek's reasoning models.

Hluboký ponor

GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.

Real-World Implementace

Školení DeepSeek-R1 a DeepSeekMath pro vytváření dlouhého řetězce myšlenek pomocí odměn za správnost na základě pravidel u matematických problémů

Jemné ladění modelů generování kódu, kde je každé vzorkované řešení hodnoceno podle toho, zda prošlo jednotkovými testy, a skupina je normalizována, aby vybrala vítěze

Open-source kanály RLHF (např. v knihovnách TRL a verl) využívající GRPO k zarovnání modelů chatu bez placení za samostatnou síť hodnot

Zlepšení chování při dodržování pokynů nebo bezpečnostního chování vzorkováním několika odpovědí na výzvu a odměňováním těch, které model odměny ohodnotí nejvíce ve srovnání s jejich vrstevníky

Budoucnost optimalizace relativních zásad skupiny

GRPO se rychle stalo výchozím receptem na trénování modelů otevřeného uvažování a laboratoře opakují jeho slabá místa. Výzkumníci zkoumají opravy zkreslení délky a obtížnosti (jako je Dr. GRPO), normalizace na úrovni tokenu spíše než na úrovni sekvence a odstranění nebo přetvoření termínu KL. Očekávejte těsnější integraci s ověřitelnými odměnami (matematika, kód, použití nástrojů), lepší zacházení s řídkými signály a hybridy, které kombinují skupinové základní linie s lehkými kritiky pro agentní, vícekrokové úkoly.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Group Relative Policy Optimization quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is Group Relative Policy Optimization?

Group Relative Policy Optimization (GRPO) je metoda posílení a učení pro dolaďování jazykových modelů, která posuzuje každou odpověď proti skupině sourozeneckých odpovědí na stejnou výzvu, čímž eliminuje samostatnou hodnotovou síť používanou PPO. Proslavil se jako základní tréninkový trik za modely uvažování DeepSeek.

Which separately learned estimator does the original GRPO approach avoid training?

GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.

Jak GRPO vypočítá výhodu pro dané dokončení?

Výhodou každého dokončení je (odměna - průměr skupiny) / směrodatná odchylka skupiny, takže skupina odpovědí na stejnou výzvu funguje jako výchozí.

Které modely proslavily GRPO?

GRPO bylo představeno a popularizováno DeepSeek, zejména v DeepSeekMath a jako RL engine za uvažovacími modely DeepSeek-R1.

Jakou roli hraje termín KL-divergence v GRPO?

Pokuta KL proti referenčnímu (obvykle pre-RL) modelu reguluje trénink, takže politika se zlepšuje, aniž by se zhroutila nebo se posunula do degenerovaných výstupů.

Proč je GRPO obzvláště atraktivní pro trénování modelů uvažování v matematice nebo kódu?

Vzorkování mnoha řešení a jejich vyhodnocování pomocí automatických kontrol správnosti se čistě spáruje s výhodami GRPO normalizovanými na skupiny, není třeba žádné kritiky.