NastępnyNastępny poradnik
Bliższa optymalizacja polityki
Językowa sztuczna inteligencja
PRZEWODNIK techniczny
Optymalizacja polityki względnej grupy
Group Relative Policy Optimization (GRPO) to metoda uczenia się przez wzmacnianie, służąca dostrajaniu modeli językowych, która ocenia każdą odpowiedź na podstawie grupy odpowiedzi rodzeństwa na to samo pytanie, eliminując odrębną sieć wartości wykorzystywaną przez PPO.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It became famous as the core training trick behind DeepSeek's reasoning models.
Głębokie nurkowanie
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Implementacja w świecie rzeczywistym
Szkolenie DeepSeek-R1 i DeepSeekMath w zakresie tworzenia długich łańcuchów myślowych przy użyciu opartych na regułach nagród za poprawność problemów matematycznych
Dostrajanie modeli generowania kodu, w których każde próbowane rozwiązanie jest oceniane pod kątem tego, czy przeszło testy jednostkowe, a grupa jest normalizowana w celu wybrania zwycięzców
Potoki RLHF typu open source (np. w bibliotekach TRL i Verl) wykorzystujące GRPO do wyrównywania modeli czatów bez płacenia za oddzielną sieć wartości
Poprawa przestrzegania instrukcji lub zachowań związanych z bezpieczeństwem poprzez próbkowanie kilku odpowiedzi na monit i nagradzanie tych, które model nagradzania ocenia najwyżej w porównaniu z innymi
Przyszłość optymalizacji polityki względnej grupy
GRPO szybko stało się domyślną receptą na szkolenie modeli otwartego rozumowania, a laboratoria pracują nad iteracją w oparciu o jej słabe punkty. Badacze badają poprawki błędów związanych z długością i trudnością (takie jak Dr. GRPO), normalizację na poziomie tokena, a nie na poziomie sekwencji, oraz usuwanie lub przekształcanie terminu KL. Oczekuj ściślejszej integracji z weryfikowalnymi nagrodami (matematyka, kod, użycie narzędzi), lepszej obsługi rzadkich sygnałów i rozwiązań hybrydowych, które łączą grupowe wartości bazowe z lekką krytyką w przypadku agentycznych, wieloetapowych zadań.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Group Relative Policy Optimization quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Group Relative Policy Optimization?
Group Relative Policy Optimization (GRPO) to metoda uczenia się przez wzmacnianie, służąca dostrajaniu modeli językowych, która ocenia każdą odpowiedź na podstawie grupy odpowiedzi rodzeństwa na to samo pytanie, eliminując odrębną sieć wartości wykorzystywaną przez PPO. Zasłynęło jako podstawowa sztuczka szkoleniowa stojąca za modelami rozumowania DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
W jaki sposób GRPO oblicza przewagę za dane ukończenie?
Zaletą każdego ukończenia jest (nagroda – średnia grupowa) / odchylenie standardowe grupy, więc grupa odpowiedzi na ten sam monit pełni rolę linii bazowej.
Które modele sprawiły, że GRPO stało się znane?
GRPO zostało wprowadzone i spopularyzowane przez DeepSeek, zwłaszcza w DeepSeekMath i jako silnik RL stojący za modelami rozumowania DeepSeek-R1.
Jaką rolę odgrywa termin rozbieżności KL w GRPO?
Kara KL za model referencyjny (zwykle sprzed RL) reguluje szkolenie, dzięki czemu polityka ulega poprawie bez załamania się lub dryfowania w stronę zdegenerowanych wyników.
Dlaczego GRPO jest szczególnie atrakcyjne do uczenia modeli rozumowania na matematyce lub kodzie?
Próbkowanie wielu rozwiązań i ocenianie ich za pomocą automatycznych kontroli poprawności doskonale łączy się z zaletami GRPO znormalizowanymi dla grup i nie wymaga krytyki.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat