ДаліНаступний посібник
Нормалізація довжини в оптимізації переваг
основи
ПОСІБНИК З ОСНОВ
Нормалізація згрупованої винагороди в RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Глибоке занурення
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Реалізація в реальному світі
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Майбутнє нормалізації згрупованої винагороди в RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де нормалізація згрупованої винагороди в RLHF допомагає, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Grouped Reward Normalization in RLHF quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Grouped Reward Normalization in RLHF?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
У нормалізації згрупованої винагороди, з чим порівнюється винагорода кожної відповіді?
Кожна винагорода перетворюється на z-показник із використанням середнього значення та стандартного відхилення групи відповідей на ту саму підказку.
Який алгоритм найбільш пов’язаний із нормалізацією згрупованої винагороди?
GRPO, представлений DeepSeek і використовується в DeepSeek-R1, побудований на нормалізації винагород у групі.
Який компонент стандартного РРО значно виключає GRPO?
Використовуючи середнє групове значення як базову лінію, GRPO відмовляється від навчених критиків, заощаджуючи пам’ять і обчислення.
Що відбувається з відповіддю, винагорода якої нижча за середнє значення групи?
Віднімання групового середнього робить відповіді нижче середнього негативними, відштовхуючи політику від них.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми