Преглед
Оптимизацията на груповата относителна политика (GRPO) е метод за обучение за подсилване за фина настройка на езикови модели, който преценява всеки отговор спрямо група братски отговори на една и съща подкана, елиминирайки отделната мрежа от стойности, използвана от PPO. Той стана известен като основния трик за обучение зад моделите на разсъждение на DeepSeek.
Оптимизацията на относителната групова политика е технически градивен елемент, който влияе върху качеството на модела, цената на инфраструктурата, латентността и надеждността в мащаб.
Дълбоко гмуркане
GRPO е вариант на обучение за подсилване на градиент на политики, предназначен да направи фината настройка на RL на големи езикови модели по-евтина и по-стабилна. Стандартният PPO се нуждае от научен „критик“ (стойностен модел), приблизително толкова голям, колкото самата политика, за да оцени колко добър е всеки токен. GRPO премахва този критик изцяло. За всяка подкана той взема проби от група завършвания (да речем 8-64), оценява ги всички със сигнал за награда и след това изчислява предимството на всяко завършване чрез стандартизиране на наградата спрямо средната стойност и стандартното отклонение на групата. Отговорите над средното се засилват, а тези под средното се потискат. Терминът на KL-дивергенция поддържа модела близо до референтна политика. Въведен от DeepSeek, той захранва DeepSeekMath и моделите за разсъждение DeepSeek-R1.
Техническа информация
Ключовата идея е да се замени базовата линия на научената стойност на PPO с базовата линия на групата Монте Карло. За група изходи с награди r_i, всяко предимство е A_i = (r_i - средно(r)) / std(r). Този нормализиран резултат умножава съотношението на ограничената вероятност, точно както в PPO, и KL наказание срещу замразен референтен модел ограничава отклонението. Тъй като нито един критик не е обучен, паметта и изчисленията намаляват приблизително наполовина, а нормализацията на подкана дава естествено мащабирани предимства с ниска вариация.
Овладяване на оптимизацията на груповата относителна политика
Оптимизацията на груповата относителна политика (GRPO) е метод за обучение за подсилване за фина настройка на езикови модели, който преценява всеки отговор спрямо група братски отговори на една и съща подкана, елиминирайки отделната мрежа от стойности, използвана от PPO. Той стана известен като основния трик за обучение зад моделите на разсъждение на DeepSeek. Оптимизацията на относителната групова политика е технически градивен елемент, който влияе върху качеството на модела, цената на инфраструктурата, латентността и надеждността в мащаб. За да изградите дълбоко разбиране, третирайте оптимизацията на груповата относителна политика като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика, силни екипи, използващи оптимизация на относителна групова политика, оптимизират избора на архитектура, данни и инфраструктура срещу надеждност и цена. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години. В същото време оптимизирането на един бенчмарк може да скрие по-широки системни слабости. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Обучение на DeepSeek-R1 и DeepSeekMath за създаване на дълга верига от разсъждения чрез използване на базирани на правила награди за коректност при математически проблеми
Модели за фина настройка на генериране на код, при които всяко извадково решение се оценява според това дали преминава тестове на единица и групата се нормализира, за да избере победителите
RLHF тръбопроводи с отворен код (напр. в TRL и verl библиотеки), използващи GRPO за подравняване на чат модели, без да плащате за отделна стойностна мрежа
Подобряване на поведението при следване на инструкциите или безопасността чрез вземане на проби от няколко отговора на подкана и награждаване на тези, които моделът за възнаграждение оценява най-високо спрямо техните връстници
Модели на изпълнение
Оптимизация на груповата относителна политика на практика
Обучение на DeepSeek-R1 и DeepSeekMath за създаване на дълга верига от разсъждения чрез използване на базирани на правила награди за коректност при математически проблеми.
Обучение на DeepSeek-R1 и DeepSeekMath за създаване на дълга верига от разсъждения с помощта на базирани на правила награди за коректност при математически проблеми Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Оптимизация на груповата относителна политика на практика
Модели за генериране на код за фина настройка, при които всяко извадено решение се оценява според това дали преминава тестовете на модула и групата се нормализира, за да избере победителите.
Модели за фина настройка на генериране на код, при които всяко извадено решение се оценява според това дали преминава тестове на единица и групата се нормализира, за да избере победителите. Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Оптимизация на груповата относителна политика на практика
RLHF тръбопроводи с отворен код (напр. в TRL и verl библиотеки), използващи GRPO за подравняване на чат модели, без да плащате за отделна стойностна мрежа.
RLHF тръбопроводи с отворен код (напр. в TRL и verl библиотеки), използващи GRPO за привеждане в съответствие на моделите на чат, без да плащат за отделна стойностна мрежа. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Оптимизация на груповата относителна политика на практика
Подобряване на поведението при следване на инструкциите или безопасността чрез вземане на проби от няколко отговора на подкана и възнаграждаване на тези, които моделът за възнаграждение оценява най-високо спрямо техните връстници.
Подобряване на поведението при следване на инструкциите или безопасността чрез вземане на проби от няколко отговора на подкана и възнаграждаване на тези, които моделът за възнаграждение оценява най-високо в сравнение с техните връстници. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Определете целите за латентност, качество и разходи преди внедряването. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Бенчмарк при реалистични условия на натоварване и данни.
Бенчмарк при реалистични условия на натоварване и данни. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.