Nkwalite amụma ikwu otu
Otu n'ime amụma gbasara otu (GRPO) bụ usoro nkwado-mmụta maka imezi ụdị asụsụ nke ọma na-ekpebi azịza ọ bụla megide otu ụmụnne na-aza otu ngwa ngwa, na-ewepụ netwọkụ bara uru dị iche iche nke PPO na-eji.
Nchịkọta
Ọ ghọrọ onye ama ama dị ka aghụghọ ọzụzụ isi n'azụ ụdị echiche DeepSeek.
Ime miri emi
GRPO bụ ụdị dị iche iche nke mmụta nkwado gradient nke emebere iji mee ka ndozi RL nke ụdị asụsụ buru ibu dị ọnụ ala ma kwụsie ike. Ọkọlọtọ PPO chọrọ 'onye nkatọ' (ụkpụrụ bara uru), n'ụzọ dị ukwuu ka amụma ahụ n'onwe ya, iji chọpụta etu akara ngosi ọ bụla si dị mma. GRPO na-ewepụ onye nkatọ ahụ kpamkpam. Maka ngwa ngwa ọ bụla, ọ na-egosiputa otu mmecha (kwuo 8-64), na-enye ha niile akara ngosi ụgwọ ọrụ, wee gbakọọ uru mmecha nke ọ bụla nwere site n'ịhazi ụgwọ ọrụ ya megide echiche nke otu na mgbanwe ọkọlọtọ. A na-eme ka azịza ndị dị n'elu-nkezi sie ike ma na-ebelata nkezi nke dị ala. Okwu KL-iche na-edobe ihe nlereanya nso na amụma ntụaka. DeepSeek webatara ya, ọ kwadoro DeepSeekMath na ụdị echiche DeepSeek-R1.
Nghọta nka nka
Isi echiche bụ iji usoro ntọala otu Monte Carlo dochie akara mmụta bara uru PPO. Maka otu ihe nrụpụta nwere ụgwọ ọrụ r_i, uru ọ bụla bụ A_i = (r_i - mean(r)) / std (r). Akara ahụ ahaziri ahazi na-amụba oke nke puru omume, dịka ọ dị na PPO, yana ntaramahụhụ KL megide ụdị ntụaka oyi kpọnwụrụ na-egbochi ịfefe. N'ihi na ọ nweghị onye nkatọ a zụrụ azụ, ebe nchekwa na gbakọọ nkeji ole na ole, na nhazi nke ngwa ngwa na-enye uru dị ala dị ala.
Mmetụta atụmatụ
Ọnụ ego na mmefu ego
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi doro anya
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Quality akara
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Ọdịnihu nke nkwalite amụma ikwu otu
GRPO aghọọla ngwa ngwa usoro ndabere maka ịzụ ụdị echiche echiche mepere emepe, ụlọ nyocha na-atụgharịkwa n'ebe adịghị ike ya. Ndị na-eme nchọpụta na-enyocha ndozi maka ogologo oge na ihe isi ike (dị ka Dr. GRPO), ọkwa token karịa usoro nhazi usoro, na iwepụ ma ọ bụ gbanwee okwu KL. Na-atụ anya njikọ siri ike na ụgwọ ọrụ a ga-egosipụta (mgbakọ na mwepụ, koodu, iji ngwá ọrụ), njikwa akara ngosi dị obere, yana ngwakọ ndị na-ejikọta ntọala otu na ndị nkatọ dị fechaa maka ọrụ nnọchite, ọtụtụ nzọụkwụ.
Mmejuputa n'ezie n'ụwa
Ọzụzụ DeepSeek-R1 na DeepSeekMath iji wepụta ogologo usoro echiche echiche site na iji ụgwọ ọrụ ziri ezi dabere na iwu na nsogbu mgbakọ na mwepụ.
Ụdị usoro ọgbara ọhụrụ na-emezigharị nke ọma ebe a na-enweta azịza nke ọ bụla atụpụtara site na ma ọ gafere ule otu, yana otu a na-ahazi iji họpụta ndị mmeri.
pipeline RLHF mepere emepe (dịka, na TRL na verl ọba akwụkwọ) iji GRPO kwado ụdị nkata na-akwụghị ụgwọ maka netwọk bara uru dị iche.
Ịkwalite nkuzi-eso ma ọ bụ omume nchekwa site n'ịtụle nzaghachi dị iche iche n'otu oge ma na-akwụghachi ndị na-akwụ ụgwọ ụdị ụgwọ ọrụ kachasị na ndị ọgbọ ha.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Nkwalite amụma nso
Ajụjụ a na-ajụkarị
Kedu ihe bụ nkwalite amụma ikwu otu?
Otu n'ime amụma gbasara otu (GRPO) bụ usoro nkwado-mmụta maka imezi ụdị asụsụ nke ọma na-ekpebi azịza ọ bụla megide otu ụmụnne na-aza otu ngwa ngwa, na-ewepụ netwọkụ bara uru dị iche iche nke PPO na-eji. Ọ ghọrọ onye ama ama dị ka aghụghọ ọzụzụ isi n'azụ ụdị echiche DeepSeek.
Kedu akụkụ bụ isi nke PPO GRPO na-ewepụ?
Mgbanwe mbinye aka GRPO na-atụba uru/ ụdị nkatọ PPO mụtara, nke na-adịkarị ihe dịka amụma ahụ, na-echekwa nnukwu ebe nchekwa na ịgbakọ.
Kedu ka GRPO si agbakọ uru maka mmecha enyere?
Uru mmecha nke ọ bụla bụ (ụgwọ ọrụ - otu pụtara) / ụkpụrụ ọkọlọtọ otu, yabụ otu azịza otu ngwa ngwa na-eme dị ka ntọala.
Kedu ụdị nke mere GRPO nke ọma?
DeepSeek webatara ma gbasaa GRPO, ọkachasị na DeepSeekMath yana dịka injin RL n'azụ ụdị echiche DeepSeek-R1.
Kedu ọrụ KL-divergence na-arụ na GRPO?
Ntaramahụhụ KL megide ntụnye aka (na-abụkarị pre-RL) nlereanya na-ahazi ọzụzụ ọzụzụ ka amụma ahụ wee na-aga nke ọma na-emebighị ma ọ bụ banye n'ime mpụta rere ure.
Kedu ihe kpatara GRPO ji maa mma maka ụdị ọzụzụ ọzụzụ na mgbakọ na mwepụ ma ọ bụ koodu?
Ịnweta ọtụtụ ihe ngwọta na iji akara nyocha ziri ezi na-akpaghị aka mee ka ha nwee uru dị mma nke otu GRPO, ọ dịghị onye nkatọ chọrọ.