Обзор
Оптимизация групповой относительной политики (GRPO) — это метод обучения с подкреплением для точной настройки языковых моделей, который оценивает каждый ответ по группе одноуровневых ответов на один и тот же запрос, устраняя отдельную сеть создания ценности, используемую PPO. Он стал известен как основной метод обучения, лежащий в основе моделей рассуждения DeepSeek.
Оптимизация групповой относительной политики — это технический строительный блок, который влияет на качество модели, стоимость инфраструктуры, задержку и надежность в масштабе.
Глубокое погружение
GRPO — это вариант обучения с подкреплением градиента политики, предназначенный для того, чтобы сделать тонкую настройку больших языковых моделей с помощью RL более дешевой и стабильной. Стандартному PPO нужен обученный «критик» (модель стоимости), примерно такого же размера, как и сама политика, чтобы оценить, насколько хорош каждый токен. GRPO полностью устраняет этого критика. Для каждого запроса он выбирает группу завершений (скажем, 8–64), оценивает их все с помощью сигнала вознаграждения, а затем вычисляет преимущество каждого завершения, стандартизируя вознаграждение по отношению к среднему значению группы и стандартному отклонению. Ответы выше среднего подкрепляются, а ответы ниже среднего подавляются. Член KL-дивергенции сохраняет модель близкой к эталонной политике. Представленный DeepSeek, он послужил основой для моделей рассуждений DeepSeekMath и DeepSeek-R1.
Техническая информация
Ключевая идея заключается в замене базового уровня изученной ценности PPO базовым уровнем группы Монте-Карло. Для группы выходов с вознаграждениями r_i каждое преимущество равно A_i = (r_i - среднее(r))/std(r). Эта нормализованная оценка умножает урезанное отношение вероятностей, точно так же, как в PPO, и штраф KL за замороженное смещение ограничений эталонной модели. Поскольку ни один критик не обучен, память и вычислительные ресурсы сокращаются примерно вдвое, а нормализация для каждой подсказки дает естественно масштабируемые преимущества с низкой дисперсией.
Освоение оптимизации групповой относительной политики
Оптимизация групповой относительной политики (GRPO) — это метод обучения с подкреплением для точной настройки языковых моделей, который оценивает каждый ответ по группе одноуровневых ответов на один и тот же запрос, устраняя отдельную сеть создания ценности, используемую PPO. Он стал известен как основной метод обучения, лежащий в основе моделей рассуждения DeepSeek. Оптимизация групповой относительной политики — это технический строительный блок, который влияет на качество модели, стоимость инфраструктуры, задержку и надежность в масштабе. Чтобы достичь глубокого понимания, рассматривайте оптимизацию групповой относительной политики как операционную модель, а не как отдельную функцию: определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие оптимизацию групповой относительной политики, оптимизируют выбор архитектуры, данных и инфраструктуры с точки зрения надежности и стоимости. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет. В то же время оптимизация одного теста может скрыть более широкие недостатки системы. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Техническое образование помогает командам выбрать правильный стек, а не только самый новый. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Обучение DeepSeek-R1 и DeepSeekMath построению длинных цепочек мыслей с использованием вознаграждений за правильность решения математических задач на основе правил.
Точная настройка моделей генерации кода, в которых каждое выбранное решение оценивается по тому, прошло ли оно модульные тесты, а группа нормализуется для выбора победителей.
Конвейеры RLHF с открытым исходным кодом (например, в библиотеках TRL и verl), использующие GRPO для согласования моделей чата без оплаты отдельной сети создания ценности.
Улучшение выполнения инструкций или безопасного поведения за счет выборки нескольких ответов на подсказку и награждения тех, которые в модели вознаграждения оцениваются наиболее высоко по сравнению с их аналогами.
Шаблоны реализации
Оптимизация групповой относительной политики на практике
Обучение DeepSeek-R1 и DeepSeekMath построению длинных цепочек мыслей с использованием вознаграждений за правильность математических задач на основе правил.
Обучение DeepSeek-R1 и DeepSeekMath выработке длинных цепочек мыслей с использованием вознаграждений за правильность решения математических задач на основе правил. Команды обычно получают лучшие результаты, если заранее определяют пороговые значения качества, поддерживают человеческий путь эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Оптимизация групповой относительной политики на практике
Точная настройка моделей генерации кода, в которых каждое выбранное решение оценивается по тому, прошло ли оно модульные тесты, а группа нормализуется для выбора победителей.
Точная настройка моделей генерации кода, где каждое выбранное решение оценивается по тому, прошло ли оно модульные тесты, а группа нормализуется для выбора победителей. Команды обычно получают лучшие результаты, если заранее определяют пороговые значения качества, сохраняют путь эскалации с участием человека для крайних случаев и отслеживают как прирост производительности, так и затраты на ошибки с течением времени.
Оптимизация групповой относительной политики на практике
Конвейеры RLHF с открытым исходным кодом (например, в библиотеках TRL и verl), использующие GRPO для согласования моделей чата без оплаты отдельной сети создания ценности.
Конвейеры RLHF с открытым исходным кодом (например, в библиотеках TRL и verl), использующие GRPO для согласования моделей чата без оплаты отдельной сети создания ценности. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Оптимизация групповой относительной политики на практике
Улучшение соблюдения инструкций или безопасного поведения за счет выборки нескольких ответов на подсказку и награждения тех, которые в модели вознаграждения оцениваются выше, чем их коллеги.
Улучшение соблюдения инструкций или безопасного поведения путем выборки нескольких ответов на подсказку и награждения тех, которые имеют наивысшую оценку в модели вознаграждения по сравнению с коллегами. Команды обычно получают лучшие результаты, когда заранее определяют пороговые значения качества, сохраняют путь эскалации с участием человека для крайних случаев и отслеживают как прирост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Определите целевые показатели задержки, качества и стоимости перед внедрением. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Тестирование при реалистичной нагрузке и условиях данных.
Тестирование при реалистичной нагрузке и условиях данных. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Перед масштабированием подготовьте пути отката и реагирования на инциденты. Относитесь к каждому шагу как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.