Uboreshaji wa Sera ya Uhusiano ya Kikundi
Uboreshaji wa Sera ya Uhusiano ya Kikundi (GRPO) ni mbinu ya uimarishaji ya miundo ya lugha ya kurekebisha vizuri ambayo huamua kila jibu dhidi ya kikundi cha majibu ya ndugu kwa dodoso sawa, kuondoa mtandao tofauti wa thamani unaotumiwa na PPO.
Muhtasari
It became famous as the core training trick behind DeepSeek's reasoning models.
Dive ya kina
GRPO ni lahaja la uimarishaji wa ujifunzaji wa sera-gradient iliyoundwa ili kufanya usanifu wa RL wa miundo mikubwa ya lugha kuwa nafuu na thabiti zaidi. PPO ya kawaida inahitaji 'mchambuzi' aliyejifunza (mfano wa thamani), takribani mkubwa kama sera yenyewe, ili kukadiria jinsi kila tokeni ni nzuri. GRPO huondoa mkosoaji huyo kabisa. Kwa kila kidokezo hutoa sampuli za kikundi cha kukamilisha (sema 8-64), huzipata zote kwa ishara ya zawadi, na kisha kukokotoa faida ya kila umalizio kwa kusawazisha malipo yake dhidi ya wastani na mkengeuko wa kawaida wa kikundi. Majibu ya juu ya wastani yameimarishwa na yale ya chini ya wastani hukandamizwa. Neno la tofauti la KL huweka kielelezo karibu na sera ya marejeleo. Ilianzishwa na DeepSeek, iliendesha DeepSeekMath na miundo ya kutoa hoja ya DeepSeek-R1.
Ufahamu wa Kiufundi
Wazo kuu ni kubadilisha msingi wa thamani uliojifunza wa PPO na msingi wa kikundi cha Monte Carlo. Kwa kundi la matokeo yenye tuzo r_i, kila faida ni A_i = (r_i - mean(r)) / std(r). Alama hiyo iliyorekebishwa huzidisha uwiano wa uwezekano uliopunguzwa, sawa na katika PPO, na adhabu ya KL dhidi ya muundo wa marejeleo uliogandishwa hupunguza mteremko. Kwa sababu hakuna mkosoaji aliyefunzwa, kumbukumbu na kukokotoa takriban nusu, na urekebishaji wa kila mara moja unatoa faida zilizopimwa, za utofauti wa chini.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Uboreshaji wa Sera ya Uhusiano ya Kikundi
GRPO kwa haraka imekuwa kichocheo chaguo-msingi cha kufunza miundo ya uwazi ya hoja, na maabara yanarudia sehemu zake dhaifu. Watafiti wanachunguza marekebisho ya urefu na upendeleo wa ugumu (kama vile Dk. GRPO), kiwango cha tokeni badala ya urekebishaji wa kiwango cha mfuatano, na kuondoa au kuunda upya neno la KL. Tarajia muunganisho mkali zaidi na zawadi zinazoweza kuthibitishwa (hesabu, msimbo, utumiaji wa zana), utunzaji bora wa mawimbi machache, na mahuluti ambayo huchanganya misingi ya kikundi na wakosoaji uzani mwepesi kwa shughuli za mawakala, za hatua nyingi.
Utekelezaji wa Ulimwengu Halisi
Kufundisha DeepSeek-R1 na DeepSeekMath kutoa hoja ndefu za mlolongo wa mawazo kwa kutumia tuzo za usahihi zinazotegemea kanuni kwenye matatizo ya hesabu.
Miundo ya kuunda msimbo ya kurekebisha vizuri ambapo kila sampuli ya suluhu inalingana na iwapo itafaulu majaribio ya kitengo, na kikundi kinasawazishwa ili kuchagua washindi.
Njia huria za RLHF (k.m., katika maktaba za TRL na verl) kwa kutumia GRPO kupanga miundo ya gumzo bila kulipia mtandao tofauti wa thamani.
Kuboresha tabia ya kufuata maagizo au usalama kwa kuiga majibu kadhaa kwa kila dodoso na kuwazawadia wale viwango vya juu zaidi vya muundo wa zawadi ikilinganishwa na wenzao.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uboreshaji wa Sera ya Karibu
Maswali yanayoulizwa mara kwa mara
What is Group Relative Policy Optimization?
Uboreshaji wa Sera ya Uhusiano ya Kikundi (GRPO) ni mbinu ya uimarishaji ya miundo ya lugha ya kurekebisha vizuri ambayo huamua kila jibu dhidi ya kikundi cha majibu ya ndugu kwa dodoso sawa, kuondoa mtandao tofauti wa thamani unaotumiwa na PPO. Ikawa maarufu kama hila ya msingi ya mafunzo nyuma ya mifano ya hoja ya DeepSeek.
Ni sehemu gani kuu ya PPO ambayo GRPO inaondoa?
Mabadiliko ya saini ya GRPO yanapunguza thamani/muundo wa kihakiki wa PPO, ambao kwa kawaida huwa na ukubwa sawa na sera, huhifadhi kumbukumbu kubwa na kukokotoa.
GRPO inakusanyaje faida kwa kukamilika fulani?
Kila faida ya umaliziaji ni (zawadi - maana ya kikundi)/mkengeuko wa kawaida wa kikundi, kwa hivyo kikundi cha majibu kwa dodoso sawa hufanya kama msingi.
Ni aina gani zilizofanya GRPO ijulikane vizuri?
GRPO ilianzishwa na kujulikana na DeepSeek, haswa katika DeepSeekMath na kama injini ya RL nyuma ya miundo ya hoja ya DeepSeek-R1.
Istilahi ya KL-muachano ina jukumu gani katika GRPO?
Adhabu ya KL dhidi ya marejeleo (kwa kawaida muundo wa pre-RL) hudhibitisha mafunzo ili sera iboreshwe bila kuporomoka au kusogezwa katika matokeo duni.
Kwa nini GRPO inavutia sana kwa mafunzo ya mifano ya hoja kwenye hesabu au nambari?
Kuchukua sampuli za suluhu nyingi na kuzipata kwa usahihi wa kiotomatiki hukagua jozi kwa usafi na faida za GRPO zilizorekebishwa na kundi, hakuna mkosoaji anayehitajika.