InayofuataMwongozo unaofuata
Uboreshaji wa Sera ya Karibu
Lugha AI
MWONGOZO wa Kiufundi
Uboreshaji wa Sera ya Uhusiano ya Kikundi
Uboreshaji wa Sera ya Uhusiano ya Kikundi (GRPO) ni mbinu ya uimarishaji ya miundo ya lugha ya kurekebisha vizuri ambayo huamua kila jibu dhidi ya kikundi cha majibu ya ndugu kwa dodoso sawa, kuondoa mtandao tofauti wa thamani unaotumiwa na PPO.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It became famous as the core training trick behind DeepSeek's reasoning models.
Dive ya kina
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Utekelezaji wa Ulimwengu Halisi
Kufundisha DeepSeek-R1 na DeepSeekMath kutoa hoja ndefu za mlolongo wa mawazo kwa kutumia tuzo za usahihi zinazotegemea kanuni kwenye matatizo ya hesabu.
Miundo ya kuunda msimbo ya kurekebisha vizuri ambapo kila sampuli ya suluhu inalingana na iwapo itafaulu majaribio ya kitengo, na kikundi kinasawazishwa ili kuchagua washindi.
Njia huria za RLHF (k.m., katika maktaba za TRL na verl) kwa kutumia GRPO kupanga miundo ya gumzo bila kulipia mtandao tofauti wa thamani.
Kuboresha tabia ya kufuata maagizo au usalama kwa kuiga majibu kadhaa kwa kila dodoso na kuwazawadia wale viwango vya juu zaidi vya muundo wa zawadi ikilinganishwa na wenzao.
Mustakabali wa Uboreshaji wa Sera ya Uhusiano ya Kikundi
GRPO kwa haraka imekuwa kichocheo chaguo-msingi cha kufunza miundo ya uwazi ya hoja, na maabara yanarudia sehemu zake dhaifu. Watafiti wanachunguza marekebisho ya urefu na upendeleo wa ugumu (kama vile Dk. GRPO), kiwango cha tokeni badala ya urekebishaji wa kiwango cha mfuatano, na kuondoa au kuunda upya neno la KL. Tarajia muunganisho mkali zaidi na zawadi zinazoweza kuthibitishwa (hesabu, msimbo, utumiaji wa zana), utunzaji bora wa mawimbi machache, na mahuluti ambayo huchanganya misingi ya kikundi na wakosoaji uzani mwepesi kwa shughuli za mawakala, za hatua nyingi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Group Relative Policy Optimization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Group Relative Policy Optimization?
Uboreshaji wa Sera ya Uhusiano ya Kikundi (GRPO) ni mbinu ya uimarishaji ya miundo ya lugha ya kurekebisha vizuri ambayo huamua kila jibu dhidi ya kikundi cha majibu ya ndugu kwa dodoso sawa, kuondoa mtandao tofauti wa thamani unaotumiwa na PPO. Ikawa maarufu kama hila ya msingi ya mafunzo nyuma ya mifano ya hoja ya DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO inakusanyaje faida kwa kukamilika fulani?
Kila faida ya umaliziaji ni (zawadi - maana ya kikundi)/mkengeuko wa kawaida wa kikundi, kwa hivyo kikundi cha majibu kwa dodoso sawa hufanya kama msingi.
Ni aina gani zilizofanya GRPO ijulikane vizuri?
GRPO ilianzishwa na kujulikana na DeepSeek, haswa katika DeepSeekMath na kama injini ya RL nyuma ya miundo ya hoja ya DeepSeek-R1.
Istilahi ya KL-muachano ina jukumu gani katika GRPO?
Adhabu ya KL dhidi ya marejeleo (kwa kawaida muundo wa pre-RL) hudhibitisha mafunzo ili sera iboreshwe bila kuporomoka au kusogezwa katika matokeo duni.
Kwa nini GRPO inavutia sana kwa mafunzo ya mifano ya hoja kwenye hesabu au nambari?
Kuchukua sampuli za suluhu nyingi na kuzipata kwa usahihi wa kiotomatiki hukagua jozi kwa usafi na faida za GRPO zilizorekebishwa na kundi, hakuna mkosoaji anayehitajika.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii