Нормализация группового вознаграждения в RLHF
Групповая нормализация вознаграждений стандартизирует вознаграждения модели в пакете ответов на одну и ту же подсказку, превращая зашумленные оценки в стабильный обучающий сигнал.
Обзор
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Глубокое погружение
При обучении с подкреплением на основе обратной связи человека (RLHF) модель генерирует ответы, а модель вознаграждения оценивает их, но необработанные вознаграждения являются шумными и сильно различаются в зависимости от подсказки. Нормализация группового вознаграждения исправляет это путем выборки группы из нескольких ответов на одну и ту же подсказку, а затем нормализации каждого вознаграждения путем вычитания среднего значения группы и деления на стандартное отклонение группы. Этот z-показатель становится преимуществом. Этот подход занимает центральное место в оптимизации групповой относительной политики (GRPO), представленной DeepSeek, которая, как известно, легла в основу рассуждений DeepSeek-R1. Важно отметить, что GRPO устраняет отдельную сеть создания ценности (критиков), используемую PPO, поскольку среднее значение по группе служит базовым уровнем. Это делает обучение более простым, дешевым и более эффективным с точки зрения памяти, сохраняя при этом хорошо масштабируемый сигнал градиента.
Техническая информация
Для группы выходов с вознаграждениями r_1...r_G преимущество равно A_i = (r_i − среднее(r))/std(r). Ответы лучше, чем в среднем по группе, получают положительное преимущество и подкрепляются; те, кто хуже среднего, оттесняются вниз. Поскольку сравнение внутри подсказки относительно, абсолютная шкала вознаграждения и сложность каждой подсказки компенсируются, уменьшая дисперсию. GRPO сохраняет урезанную цель PPO и штраф KL относительно эталонной политики, чтобы предотвратить слишком далекое отклонение модели.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее нормализации группового вознаграждения в RLHF
Групповая нормализация подпитывает бум моделей рассуждения, когда модели учатся за счет поддающихся проверке наград, таких как правильные математические ответы без ученого критика. Исследования совершенствуют его: споры о том, следует ли делить по стандартному отклонению, работать с полностью правильными или полностью неправильными группами, которые не дают никакого преимущества, и масштабировать размер группы. Ожидайте, что сгруппированные, не подвергающиеся критике методы распространятся на использование агентских инструментов и генерацию кода, где автоматические верификаторы предоставляют дешевые и обильные сигналы вознаграждения.
Реальная реализация
Тренируйте модель математического рассуждения, выбирая по 16 решений для каждой задачи и вознаграждая те, правильность которых превышает средний показатель группы.
Точная настройка полезности чат-бота путем нормализации оценок модели вознаграждения по нескольким ответам кандидатов на каждое приглашение пользователя.
Улучшение помощника по кодированию, в котором каждое выбранное решение оценивается по тому, прошло ли оно модульные тесты, а затем нормализуется внутри группы.
Уменьшение памяти графического процессора в конвейере RLHF за счет исключения сети критиков PPO и использования вместо этого группового среднего значения в качестве базового уровня.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документ, в котором помогает нормализация группового вознаграждения в RLHF и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Нормализация длины в оптимизации предпочтений
Часто задаваемые вопросы
What is Grouped Reward Normalization in RLHF?
Групповая нормализация вознаграждений стандартизирует вознаграждения модели в пакете ответов на одну и ту же подсказку, превращая зашумленные оценки в стабильный обучающий сигнал. Это основная хитрость GRPO — алгоритма, лежащего в основе многих современных моделей рассуждения.
При нормализации группового вознаграждения с чем сравнивается вознаграждение за каждый ответ?
Каждое вознаграждение преобразуется в z-показатель с использованием среднего и стандартного отклонения группы ответов на один и тот же запрос.
Какой алгоритм больше всего связан с нормализацией группового вознаграждения?
GRPO, представленный DeepSeek и используемый в DeepSeek-R1, построен на нормализации вознаграждений внутри группы.
Какой компонент стандартного PPO существенно исключается из GRPO?
Используя среднее значение группы в качестве базового уровня, GRPO исключает изученную критику, экономя память и вычислительные ресурсы.
Что происходит с ответом, награда которого ниже среднего значения для его группы?
Вычитание среднего значения группы приводит к тому, что ответы ниже среднего имеют отрицательное преимущество, отталкивая политику от них.
Почему нормализация внутри группы уменьшает дисперсию обучения?
Поскольку сравнения внутри каждой подсказки относительны, различия в абсолютном масштабе и сложности подсказки нивелируются.