ДалееСледующее руководство
Оптимизация проксимальной политики
Языковой ИИ
Техническое РУКОВОДСТВО
Оптимизация групповой относительной политики
Оптимизация групповой относительной политики (GRPO) — это метод обучения с подкреплением для точной настройки языковых моделей, который оценивает каждый ответ по группе одноуровневых ответов на один и тот же запрос, устраняя отдельную сеть создания ценности, используемую PPO.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он стал известен как основной тренировочный приём, лежащий в основе моделей рассуждения DeepSeek.
Глубокое погружение
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Реальная реализация
Обучение DeepSeek-R1 и DeepSeekMath построению длинных цепочек мыслей с использованием вознаграждений за правильность решения математических задач на основе правил.
Точная настройка моделей генерации кода, в которых каждое выбранное решение оценивается по тому, прошло ли оно модульные тесты, а группа нормализуется для выбора победителей.
Конвейеры RLHF с открытым исходным кодом (например, в библиотеках TRL и verl), использующие GRPO для согласования моделей чата без оплаты отдельной сети создания ценности.
Улучшение выполнения инструкций или безопасного поведения за счет выборки нескольких ответов на подсказку и награждения тех, которые в модели вознаграждения оцениваются наиболее высоко по сравнению с их аналогами.
Будущее оптимизации групповой относительной политики
GRPO быстро стал стандартным рецептом для обучения моделей открытого мышления, и лаборатории работают над его слабыми местами. Исследователи изучают способы исправления ошибок в длине и сложности (например, Dr. GRPO), нормализацию на уровне токенов, а не на уровне последовательностей, а также удаление или изменение термина KL. Ожидайте более тесной интеграции с проверяемыми вознаграждениями (математика, код, использование инструментов), лучшей обработки редких сигналов и гибридов, которые сочетают групповые базовые показатели с облегченными критическими критериями для агентных, многоэтапных задач.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Group Relative Policy Optimization quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое групповая относительная оптимизация политики?
Оптимизация групповой относительной политики (GRPO) — это метод обучения с подкреплением для точной настройки языковых моделей, который оценивает каждый ответ по группе одноуровневых ответов на один и тот же запрос, устраняя отдельную сеть создания ценности, используемую PPO. Он стал известен как основной метод обучения, лежащий в основе моделей рассуждения DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Как GRPO рассчитывает преимущество для данного завершения?
Преимущество каждого завершения равно (награда — среднее значение группы) / стандартное отклонение группы, поэтому группа ответов на один и тот же запрос действует как базовый уровень.
Какие модели прославили GRPO?
GRPO был представлен и популяризирован компанией DeepSeek, особенно в DeepSeekMath и в качестве механизма RL, лежащего в основе моделей рассуждения DeepSeek-R1.
Какую роль играет термин KL-дивергенция в GRPO?
Штраф KL против эталонной модели (обычно до RL) упорядочивает обучение, поэтому политика улучшается, не разрушаясь и не скатываясь к ухудшению результатов.
Почему GRPO особенно привлекателен для обучения моделям рассуждения по математике или программированию?
Выборка множества решений и их оценка с помощью автоматической проверки правильности четко сочетаются с нормализованными по группам преимуществами GRPO, не требуя никакой критики.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме