СледваСледващо ръководство
Оптимизация на проксималната политика
Езиков AI
Техническо РЪКОВОДСТВО
Оптимизация на груповата относителна политика
Оптимизацията на груповата относителна политика (GRPO) е метод за обучение за подсилване за фина настройка на езикови модели, който преценява всеки отговор спрямо група братски отговори на една и съща подкана, елиминирайки отделната мрежа от стойности, използвана от PPO.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
It became famous as the core training trick behind DeepSeek's reasoning models.
Дълбоко гмуркане
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Внедряване в реалния свят
Обучение на DeepSeek-R1 и DeepSeekMath за създаване на дълга верига от разсъждения чрез използване на базирани на правила награди за коректност при математически проблеми
Модели за фина настройка на генериране на код, при които всяко извадено решение се оценява според това дали преминава тестове на единица и групата се нормализира, за да избере победителите
RLHF тръбопроводи с отворен код (напр. в TRL и verl библиотеки), използващи GRPO за подравняване на чат модели, без да плащате за отделна стойностна мрежа
Подобряване на поведението при следване на инструкциите или безопасността чрез вземане на проби от няколко отговора на подкана и награждаване на тези, които моделът за възнаграждение оценява най-високо спрямо техните връстници
Бъдещето на оптимизацията на груповата относителна политика
GRPO бързо се превърна в рецепта по подразбиране за обучение на отворени модели на разсъждение и лабораториите повтарят слабите му места. Изследователите проучват корекции за отклонения в дължината и трудността (като Dr. GRPO), нормализиране на ниво токен, а не на ниво последователност, и премахване или преоформяне на термина KL. Очаквайте по-тясна интеграция с проверими награди (математика, код, използване на инструменти), по-добро управление на оскъдни сигнали и хибриди, които съчетават групови базови линии с леки критици за агентни, многоетапни задачи.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Group Relative Policy Optimization quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Group Relative Policy Optimization?
Оптимизацията на груповата относителна политика (GRPO) е метод за обучение за подсилване за фина настройка на езикови модели, който преценява всеки отговор спрямо група братски отговори на една и съща подкана, елиминирайки отделната мрежа от стойности, използвана от PPO. Той стана известен като основния трик за обучение зад моделите на разсъждение на DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Как GRPO изчислява предимството за дадено завършване?
Предимството на всяко завършване е (награда - средна стойност на групата) / групово стандартно отклонение, така че групата от отговори на една и съща подкана действа като базова линия.
Кои модели направиха GRPO известен?
GRPO беше въведен и популяризиран от DeepSeek, особено в DeepSeekMath и като RL двигател зад моделите за разсъждение DeepSeek-R1.
Каква роля играе терминът на KL-дивергенция в GRPO?
KL наказание срещу референтен (обикновено преди RL) модел регулира обучението, така че политиката се подобрява, без да се срива или да се отклонява към изродени резултати.
Защо GRPO е особено привлекателен за обучение на модели за разсъждение по математика или код?
Вземането на проби от много решения и оценяването им с автоматични проверки за коректност се съчетава чисто с групово нормализираните предимства на GRPO, без нужда от критика.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема