NastępnyNastępny poradnik
Normalizacja długości w optymalizacji preferencji
Podstawy
PODSTAWOWY PRZEWODNIK
Zgrupowana normalizacja nagród w RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Głębokie nurkowanie
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Implementacja w świecie rzeczywistym
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Przyszłość normalizacji nagród grupowych w RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Jaśniejsze decyzje. Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
- Koszt i budżet. Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
- Zespół i przepływ pracy. Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Uważaj na
- Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
- Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
- Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Kolejne kroki
- Zacznij od jasnej definicji potrzebnego wyniku.
- Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
- Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
- Dokument, w którym pomaga normalizacja grupowej nagrody w RLHF i gdzie lepsze są prostsze metody.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Grouped Reward Normalization in RLHF quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Grouped Reward Normalization in RLHF?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
W normalizacji nagrody grupowej, z czym porównywana jest nagroda za każdą odpowiedź?
Każda nagroda jest przeliczana na wynik Z przy użyciu średniej i odchylenia standardowego grupy odpowiedzi na ten sam monit.
Który algorytm jest najbardziej kojarzony z normalizacją nagród grupowych?
GRPO, wprowadzone przez DeepSeek i używane w DeepSeek-R1, opiera się na normalizacji nagród w grupie.
Jaki składnik standardowego PPO GRPO w szczególności eliminuje?
Używając średniej grupy jako punktu odniesienia, GRPO odrzuca wyuczonego krytyka, oszczędzając pamięć i obliczenia.
Co dzieje się z odpowiedzią, której nagroda jest niższa od średniej danej grupy?
Odjęcie średniej grupy powoduje, że odpowiedzi poniżej średniej mają negatywną przewagę, odpychając od nich politykę.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat