Ẹgbẹ ibatan Afihan Iṣapeye
Iṣapejuwe Ilana ibatan Ẹgbẹ (GRPO) jẹ ọna ikẹkọ-imuduro fun awọn awoṣe ede ti o dara ti o ṣe idajọ idahun kọọkan lodi si ẹgbẹ kan ti awọn idahun arakunrin si itọsi kanna, imukuro nẹtiwọọki iye lọtọ ti PPO lo.
Akopọ
O di olokiki bi ẹtan ikẹkọ ipilẹ lẹhin awọn awoṣe ironu ti DeepSeek.
Jin Dive
GRPO jẹ iyatọ ti ẹkọ imuduro imuduro eto imulo ti a ṣe apẹrẹ lati jẹ ki atunṣe RL dara ti awọn awoṣe ede nla din owo ati iduroṣinṣin diẹ sii. Standard PPO nilo 'alariwisi' ti o kọ ẹkọ (awoṣe iye), ni aijọju bi eto imulo funrararẹ, lati ṣe iṣiro bawo ni ami kọọkan ṣe dara. GRPO yọ alariwisi yẹn kuro patapata. Fun itọka kọọkan o ṣe apẹẹrẹ ẹgbẹ kan ti awọn ipari (sọ 8-64), ṣe Dimegilio gbogbo wọn pẹlu ami ami ẹsan, ati lẹhinna ṣe iṣiro anfani ipari kọọkan nipa diwọn ere rẹ lodi si itumọ ẹgbẹ ati iyapa boṣewa. Awọn idahun ti o wa loke-apapọ jẹ fikun ati awọn ti o wa ni isalẹ-apapọ ti tẹmọlẹ. A KL-divergence oro ntọju awọn awoṣe sunmo si a itọkasi imulo. Ti ṣe afihan nipasẹ DeepSeek, o ṣe agbara DeepSeekMath ati awọn awoṣe ero DeepSeek-R1.
Imọ-imọ-ẹrọ
Ero pataki ni rirọpo ipilẹ iye ẹkọ PPO pẹlu ipilẹ ipilẹ ẹgbẹ Monte Carlo kan. Fun ẹgbẹ kan ti awọn abajade pẹlu awọn ere r_i, anfani kọọkan jẹ A_i = (r_i - tumọ (r)) / std (r). Dimegilio deede yẹn ṣe isodipupo ipin iṣeeṣe gige, ni deede bi ninu PPO, ati ijiya KL kan lodi si awoṣe itọkasi tutunini dena fiseete. Nitoripe ko si alariwisi ti o ni ikẹkọ, iranti ati ṣe iṣiro ni aijọju idaji, ati pe deede-akoko yoo fun ni iwọn nipa ti ara, awọn anfani iyatọ kekere.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Iṣapejuwe Afihan ibatan Ẹgbẹ
GRPO ti yarayara di ohunelo aiyipada fun ikẹkọ awọn awoṣe ironu ṣiṣi, ati awọn laabu n ṣe aṣetunṣe lori awọn aaye alailagbara rẹ. Awọn oniwadi n ṣawari awọn atunṣe fun ipari gigun ati awọn aiṣedeede iṣoro (gẹgẹbi Dokita GRPO), ipele ami-ami kuku ju deede-ipele ipele-ilana, ati yiyọ kuro tabi atunṣe ọrọ KL. Reti isọdọkan wiwọ pẹlu awọn ere idaniloju (isiro, koodu, lilo ohun elo), mimu to dara julọ ti awọn ifihan agbara fọnka, ati awọn arabara ti o ṣajọpọ awọn ipilẹ ẹgbẹ pẹlu awọn alariwisi iwuwo fẹẹrẹ fun aṣoju, awọn iṣẹ-igbesẹ pupọ.
Real-World imuse
Ikẹkọ DeepSeek-R1 ati DeepSeekMath lati ṣe agbejade ero ero gigun gigun nipa lilo awọn ere atunṣe ti o da lori ofin lori awọn iṣoro iṣiro
Awọn awoṣe iran koodu ti o dara julọ nibiti ojutu ayẹwo kọọkan jẹ aami nipasẹ boya o kọja awọn idanwo ẹyọkan, ati pe ẹgbẹ naa jẹ deede lati yan awọn bori
Awọn opo gigun ti RLHF-orisun (fun apẹẹrẹ, ni awọn ile-ikawe TRL ati verl) ni lilo GRPO lati ṣe deede awọn awoṣe iwiregbe laisi isanwo fun nẹtiwọọki iye lọtọ
Imudara ilana-atẹle tabi ihuwasi ailewu nipa iṣapẹẹrẹ ọpọlọpọ awọn idahun ni kiakia ati san ẹsan fun awọn ti awọn oṣuwọn awoṣe ere ti o ga julọ ni ibatan si awọn ẹlẹgbẹ wọn
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Relative Policy Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Itosi Afihan Iṣapeye
Awọn ibeere ti a beere nigbagbogbo
Kí ni ìlànà ìbátan ẹgbẹ̀?
Iṣapejuwe Ilana ibatan Ẹgbẹ (GRPO) jẹ ọna ikẹkọ-imuduro fun awọn awoṣe ede ti o dara ti o ṣe idajọ idahun kọọkan lodi si ẹgbẹ kan ti awọn idahun arakunrin si itọsi kanna, imukuro nẹtiwọọki iye lọtọ ti PPO lo. O di olokiki bi ẹtan ikẹkọ mojuto lẹhin awọn awoṣe ero DeepSeek.
Apakan pataki ti PPO wo ni GRPO yọkuro?
Iyipada ibuwọlu GRPO n silẹ iye ẹkọ ti PPO / awoṣe alariwisi, eyiti o jẹ deede iwọn kanna bi eto imulo, fifipamọ iranti idaran ati iṣiro.
Bawo ni GRPO ṣe iṣiro anfani fun ipari kan?
Anfani ipari kọọkan jẹ (ẹsan - tumọ ẹgbẹ) / iyapa boṣewa ẹgbẹ, nitorinaa ẹgbẹ ti awọn idahun si iyara kanna n ṣiṣẹ bi ipilẹṣẹ.
Awọn awoṣe wo ni o jẹ ki GRPO mọ daradara?
GRPO ti ṣe afihan ati olokiki nipasẹ DeepSeek, ni pataki ni DeepSeekMath ati bi ẹrọ RL lẹhin awọn awoṣe ero DeepSeek-R1.
Kini ipa wo ni KL-divergence oro ni GRPO?
Ijiya KL kan lodi si itọkasi kan (nigbagbogbo ṣaaju-RL) awoṣe ṣe deede ikẹkọ ki eto imulo naa dara si laisi fifọ tabi yiyọ si awọn abajade ibajẹ.
Kini idi ti GRPO paapaa wuyi fun awọn awoṣe ero ikẹkọ lori iṣiro tabi koodu?
Iṣapẹẹrẹ ọpọlọpọ awọn solusan ati igbelewọn wọn pẹlu awọn sọwedowo atunṣe adaṣe adaṣe ni mimọ pẹlu awọn anfani deede-ẹgbẹ GRPO, ko si alariwisi nilo.