DalšíDalší průvodce
Proximální optimalizace politiky
Jazyk AI
Technický PRŮVODCE
Group Relative Policy Optimization (GRPO) je metoda posílení a učení pro dolaďování jazykových modelů, která posuzuje každou odpověď proti skupině sourozeneckých odpovědí na stejnou výzvu, čímž eliminuje samostatnou hodnotovou síť používanou PPO.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It became famous as the core training trick behind DeepSeek's reasoning models.
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Školení DeepSeek-R1 a DeepSeekMath pro vytváření dlouhého řetězce myšlenek pomocí odměn za správnost na základě pravidel u matematických problémů
Jemné ladění modelů generování kódu, kde je každé vzorkované řešení hodnoceno podle toho, zda prošlo jednotkovými testy, a skupina je normalizována, aby vybrala vítěze
Open-source kanály RLHF (např. v knihovnách TRL a verl) využívající GRPO k zarovnání modelů chatu bez placení za samostatnou síť hodnot
Zlepšení chování při dodržování pokynů nebo bezpečnostního chování vzorkováním několika odpovědí na výzvu a odměňováním těch, které model odměny ohodnotí nejvíce ve srovnání s jejich vrstevníky
GRPO se rychle stalo výchozím receptem na trénování modelů otevřeného uvažování a laboratoře opakují jeho slabá místa. Výzkumníci zkoumají opravy zkreslení délky a obtížnosti (jako je Dr. GRPO), normalizace na úrovni tokenu spíše než na úrovni sekvence a odstranění nebo přetvoření termínu KL. Očekávejte těsnější integraci s ověřitelnými odměnami (matematika, kód, použití nástrojů), lepší zacházení s řídkými signály a hybridy, které kombinují skupinové základní linie s lehkými kritiky pro agentní, vícekrokové úkoly.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Group Relative Policy Optimization (GRPO) je metoda posílení a učení pro dolaďování jazykových modelů, která posuzuje každou odpověď proti skupině sourozeneckých odpovědí na stejnou výzvu, čímž eliminuje samostatnou hodnotovou síť používanou PPO. Proslavil se jako základní tréninkový trik za modely uvažování DeepSeek.
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Výhodou každého dokončení je (odměna - průměr skupiny) / směrodatná odchylka skupiny, takže skupina odpovědí na stejnou výzvu funguje jako výchozí.
GRPO bylo představeno a popularizováno DeepSeek, zejména v DeepSeekMath a jako RL engine za uvažovacími modely DeepSeek-R1.
Pokuta KL proti referenčnímu (obvykle pre-RL) modelu reguluje trénink, takže politika se zlepšuje, aniž by se zhroutila nebo se posunula do degenerovaných výstupů.
Vzorkování mnoha řešení a jejich vyhodnocování pomocí automatických kontrol správnosti se čistě spáruje s výhodami GRPO normalizovanými na skupiny, není třeba žádné kritiky.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Proximální optimalizace politiky
Jazyk AI