Групирана нормализация на възнагражденията в RLHF
Групираното нормализиране на наградите стандартизира наградите на модела в рамките на група от отговори на една и съща подкана, превръщайки шумните резултати в стабилен сигнал за обучение.
Преглед
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Дълбоко гмуркане
При обучението за подсилване от човешка обратна връзка (RLHF), моделът генерира отговори и моделът на възнаграждението ги отбелязва, но суровите награди са шумни и варират значително в различните подкани. Нормализирането на групираната награда коригира това чрез вземане на проби от група от няколко отговора на една и съща подкана, след което нормализира всяка награда чрез изваждане на средната стойност на групата и разделяне на стандартното отклонение на групата. Този z-резултат се превръща в предимство. Подходът е централен за оптимизацията на груповата относителна политика (GRPO), въведена от DeepSeek, която прочуто задвижва разсъжденията на DeepSeek-R1. Най-важното е, че GRPO елиминира отделната стойностна мрежа (критик), използвана от PPO, тъй като средната стойност на групата служи като базова линия. Това прави обучението по-просто, по-евтино и по-ефективно за паметта, като същевременно поддържа градиентния сигнал добре мащабиран.
Техническа информация
За група изходи с награди r_1...r_G, предимството е A_i = (r_i − средно(r)) / std(r). Отговорите, по-добри от средните за тяхната група, получават положително предимство и се подсилват; по-лошите от средното се избутват надолу. Тъй като сравнението е относително в рамките на подкана, абсолютната скала на възнаграждението и трудността на подкана се отменят, намалявайки дисперсията. GRPO поддържа ограничената цел на PPO и наказанието KL срещу референтна политика, за да предотврати твърде голямото отклонение на модела.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Бъдещето на групираната нормализация на възнагражденията в RLHF
Групираната нормализация подхранва бума на разсъждаващи модели, при който моделите се учат от проверими награди като правилни математически отговори без опитен критик. Изследванията го усъвършенстват: дебати дали да се раздели по стандартно отклонение, боравене с напълно правилни или напълно грешни групи, които дават нулево предимство, и мащабиране на размера на групата. Очаквайте групираните методи без критика да се разпространят до използване на агентски инструменти и генериране на код, където автоматичните верификатори доставят евтини, изобилни сигнали за награди.
Внедряване в реалния свят
Обучение на модел на математическо разсъждение чрез вземане на проби от 16 решения на проблем и награждаване на онези, които са над средната коректност на групата.
Фина настройка на услужливостта на чатбота чрез нормализиране на резултатите от модела на възнаграждение в няколко отговора на кандидати на всяка подкана от потребителя.
Подобряване на асистент за кодиране, където всяко извадено решение се оценява според това дали преминава тестове на единица, след което се нормализира в рамките на групата.
Намаляване на GPU паметта в RLHF тръбопровод чрез премахване на PPO критичната мрежа и използване на груповата средна стойност като базова линия вместо това.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде нормализацията на групираните награди в RLHF помага и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Нормализация на дължината в оптимизацията на предпочитанията
Frequently asked questions
What is Grouped Reward Normalization in RLHF?
Групираното нормализиране на наградите стандартизира наградите на модела в рамките на група от отговори на една и съща подкана, превръщайки шумните резултати в стабилен сигнал за обучение. Това е основният трик зад GRPO, алгоритъмът, който захранва много съвременни модели на разсъждение.
При нормализацията на групираната награда, с какво се сравнява наградата за всеки отговор?
Всяка награда се преобразува в z-резултат, като се използва средното и стандартното отклонение на групата отговори на една и съща подкана.
Кой алгоритъм е най-свързан с нормализацията на групираната награда?
GRPO, въведен от DeepSeek и използван в DeepSeek-R1, е изграден около нормализиране на наградите в рамките на група.
Какъв компонент на стандартната PPO елиминира GRPO?
Като използва средната стойност на групата като базова линия, GRPO премахва научения критик, спестявайки памет и изчисления.
Какво се случва с отговор, чиято награда е под средната стойност на групата?
Изваждането на груповата средна стойност прави отговорите под средното ниво с отрицателно предимство, което отблъсква политиката от тях.
Защо нормализирането в рамките на група намалява дисперсията в обучението?
Тъй като сравненията са относителни в рамките на всяка подкана, разликите в абсолютния мащаб и трудността на подкана се измиват.