ДалееСледующее руководство
Нормализация длины в оптимизации предпочтений
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Нормализация группового вознаграждения в RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Глубокое погружение
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Реальная реализация
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Будущее нормализации группового вознаграждения в RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Применение на практике
Почему это важно
- Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
- Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
- Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Следите за
- Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
- Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
- Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Следующие шаги
- Начните с простого определения желаемого результата.
- Перед тестированием выберите один показатель успеха и одно условие отказа.
- Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
- Документ, в котором помогает нормализация группового вознаграждения в RLHF и где более простые методы лучше.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Grouped Reward Normalization in RLHF quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Grouped Reward Normalization in RLHF?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
При нормализации группового вознаграждения с чем сравнивается вознаграждение за каждый ответ?
Каждое вознаграждение преобразуется в z-показатель с использованием среднего и стандартного отклонения группы ответов на один и тот же запрос.
Какой алгоритм больше всего связан с нормализацией группового вознаграждения?
GRPO, представленный DeepSeek и используемый в DeepSeek-R1, построен на нормализации вознаграждений внутри группы.
Какой компонент стандартного PPO существенно исключается из GRPO?
Используя среднее значение группы в качестве базового уровня, GRPO исключает изученную критику, экономя память и вычислительные ресурсы.
Что происходит с ответом, награда которого ниже среднего значения для его группы?
Вычитание среднего значения группы приводит к тому, что ответы ниже среднего имеют отрицательное преимущество, отталкивая политику от них.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме