Zgrupowana normalizacja nagród w RLHF
Zgrupowana normalizacja nagród standaryzuje nagrody modelu w ramach partii odpowiedzi na ten sam monit, zamieniając zaszumione wyniki w stabilny sygnał szkoleniowy.
Przegląd
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Głębokie nurkowanie
W uczeniu się przez wzmacnianie na podstawie informacji zwrotnych od ludzi (RLHF) model generuje odpowiedzi, a model nagród ocenia je, ale surowe nagrody są zaszumione i znacznie różnią się w zależności od podpowiedzi. Grupowana normalizacja nagród rozwiązuje ten problem poprzez próbkowanie grupy kilku odpowiedzi na ten sam monit, a następnie normalizowanie każdej nagrody poprzez odjęcie średniej grupy i podzielenie przez odchylenie standardowe grupy. Ten wynik Z staje się zaletą. Podejście to ma kluczowe znaczenie dla optymalizacji polityki względnej grupy (GRPO), wprowadzonej przez DeepSeek, która słynęła z rozumowania DeepSeek-R1. Co najważniejsze, GRPO eliminuje odrębną sieć wartości (krytyczną) stosowaną przez PPO, ponieważ średnia grupowa służy jako punkt odniesienia. Dzięki temu trening jest prostszy, tańszy i bardziej wydajny pod względem pamięci, przy jednoczesnym zachowaniu dobrze skalowanego sygnału gradientu.
Wgląd techniczny
Dla grupy wyników z nagrodami r_1...r_G przewaga wynosi A_i = (r_i − średnia(r)) / std(r). Odpowiedzi lepsze niż średnia w ich grupie uzyskują pozytywną przewagę i są wzmacniane; te gorsze od przeciętnych są spychane w dół. Ponieważ porównanie jest względne w ramach podpowiedzi, bezwzględna skala nagrody i trudności na zachętę znoszą się, zmniejszając wariancję. GRPO utrzymuje obcięty cel PPO i karę KL w stosunku do polityki referencyjnej, aby zapobiec zbytniemu dryfowaniu modelu.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość normalizacji nagród grupowych w RLHF
Grupowana normalizacja napędza boom na modele rozumowania, w ramach których modele uczą się na podstawie weryfikowalnych nagród, takich jak prawidłowe odpowiedzi matematyczne bez wytrawnego krytyka. Badania go udoskonalają: debaty na temat tego, czy dzielić według odchylenia standardowego, jak postępować z grupami, które są całkowicie poprawne, czy całkowicie błędne, które dają zerową przewagę, oraz skalować wielkość grupy. Spodziewaj się, że zgrupowane, wolne od krytyki metody rozprzestrzenią się na agentyczne użycie narzędzi i generowanie kodu, gdzie automatyczne weryfikatory dostarczają tanich, obfitych sygnałów nagrody.
Implementacja w świecie rzeczywistym
Trenowanie modelu rozumowania matematycznego poprzez próbkowanie 16 rozwiązań każdego problemu i nagradzanie tych, które przekraczają średnią poprawność grupy.
Dostosowywanie przydatności chatbota poprzez normalizację wyników modelu nagrody w odpowiedziach kilku kandydatów na każdy monit użytkownika.
Ulepszanie asystenta kodowania, w którym każde próbowane rozwiązanie jest oceniane pod kątem tego, czy przechodzi testy jednostkowe, a następnie normalizowane w grupie.
Zmniejszenie pamięci GPU w potoku RLHF poprzez porzucenie sieci krytycznej PPO i zamiast tego użycie średniej grupowej jako wartości bazowej.
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokument, w którym pomaga normalizacja grupowej nagrody w RLHF i gdzie lepsze są prostsze metody.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Normalizacja długości w optymalizacji preferencji
Często zadawane pytania
What is Grouped Reward Normalization in RLHF?
Zgrupowana normalizacja nagród standaryzuje nagrody modelu w ramach partii odpowiedzi na ten sam monit, zamieniając zaszumione wyniki w stabilny sygnał szkoleniowy. Jest to podstawowa sztuczka GRPO, algorytmu, który napędza wiele nowoczesnych modeli rozumowania.
W normalizacji nagrody grupowej, z czym porównywana jest nagroda za każdą odpowiedź?
Każda nagroda jest przeliczana na wynik Z przy użyciu średniej i odchylenia standardowego grupy odpowiedzi na ten sam monit.
Który algorytm jest najbardziej kojarzony z normalizacją nagród grupowych?
GRPO, wprowadzone przez DeepSeek i używane w DeepSeek-R1, opiera się na normalizacji nagród w grupie.
Jaki składnik standardowego PPO GRPO w szczególności eliminuje?
Używając średniej grupy jako punktu odniesienia, GRPO odrzuca wyuczonego krytyka, oszczędzając pamięć i obliczenia.
Co dzieje się z odpowiedzią, której nagroda jest niższa od średniej danej grupy?
Odjęcie średniej grupy powoduje, że odpowiedzi poniżej średniej mają negatywną przewagę, odpychając od nich politykę.
Dlaczego normalizacja w grupie zmniejsza wariancję treningu?
Ponieważ porównania w obrębie każdego podpowiedzi są względne, różnice w skali bezwzględnej i trudności podpowiedzi zacierają się.