Imọ Itọsọna
Ẹgbẹ ibatan Afihan Iṣapeye
Iṣapejuwe Ilana ibatan Ẹgbẹ (GRPO) jẹ ọna ikẹkọ-imuduro fun awọn awoṣe ede ti o dara ti o ṣe idajọ idahun kọọkan lodi si ẹgbẹ kan ti awọn idahun arakunrin si itọsi kanna, imukuro nẹtiwọọki iye lọtọ ti PPO lo.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O di olokiki bi ẹtan ikẹkọ ipilẹ lẹhin awọn awoṣe ironu ti DeepSeek.
Jin Dive
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Real-World imuse
Ikẹkọ DeepSeek-R1 ati DeepSeekMath lati ṣe agbejade ero ero gigun gigun nipa lilo awọn ere atunṣe ti o da lori ofin lori awọn iṣoro iṣiro
Awọn awoṣe iran koodu ti o dara julọ nibiti ojutu ayẹwo kọọkan jẹ aami nipasẹ boya o kọja awọn idanwo ẹyọkan, ati pe ẹgbẹ naa jẹ deede lati yan awọn bori
Awọn opo gigun ti RLHF-orisun (fun apẹẹrẹ, ni awọn ile-ikawe TRL ati verl) ni lilo GRPO lati ṣe deede awọn awoṣe iwiregbe laisi isanwo fun nẹtiwọọki iye lọtọ
Imudara ilana-atẹle tabi ihuwasi ailewu nipa iṣapẹẹrẹ ọpọlọpọ awọn idahun ni kiakia ati san ẹsan fun awọn ti awọn oṣuwọn awoṣe ere ti o ga julọ ni ibatan si awọn ẹlẹgbẹ wọn
Ọjọ iwaju ti Iṣapejuwe Afihan ibatan Ẹgbẹ
GRPO ti yarayara di ohunelo aiyipada fun ikẹkọ awọn awoṣe ironu ṣiṣi, ati awọn laabu n ṣe aṣetunṣe lori awọn aaye alailagbara rẹ. Awọn oniwadi n ṣawari awọn atunṣe fun ipari gigun ati awọn aiṣedeede iṣoro (gẹgẹbi Dokita GRPO), ipele ami-ami kuku ju deede-ipele ipele-ilana, ati yiyọ kuro tabi atunṣe ọrọ KL. Reti isọdọkan wiwọ pẹlu awọn ere idaniloju (isiro, koodu, lilo ohun elo), mimu to dara julọ ti awọn ifihan agbara fọnka, ati awọn arabara ti o ṣajọpọ awọn ipilẹ ẹgbẹ pẹlu awọn alariwisi iwuwo fẹẹrẹ fun aṣoju, awọn iṣẹ-igbesẹ pupọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Group Relative Policy Optimization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kí ni ìlànà ìbátan ẹgbẹ̀?
Iṣapejuwe Ilana ibatan Ẹgbẹ (GRPO) jẹ ọna ikẹkọ-imuduro fun awọn awoṣe ede ti o dara ti o ṣe idajọ idahun kọọkan lodi si ẹgbẹ kan ti awọn idahun arakunrin si itọsi kanna, imukuro nẹtiwọọki iye lọtọ ti PPO lo. O di olokiki bi ẹtan ikẹkọ mojuto lẹhin awọn awoṣe ero DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Bawo ni GRPO ṣe iṣiro anfani fun ipari kan?
Anfani ipari kọọkan jẹ (ẹsan - tumọ ẹgbẹ) / iyapa boṣewa ẹgbẹ, nitorinaa ẹgbẹ ti awọn idahun si iyara kanna n ṣiṣẹ bi ipilẹṣẹ.
Awọn awoṣe wo ni o jẹ ki GRPO mọ daradara?
GRPO ti ṣe afihan ati olokiki nipasẹ DeepSeek, ni pataki ni DeepSeekMath ati bi ẹrọ RL lẹhin awọn awoṣe ero DeepSeek-R1.
Kini ipa wo ni KL-divergence oro ni GRPO?
Ijiya KL kan lodi si itọkasi kan (nigbagbogbo ṣaaju-RL) awoṣe ṣe deede ikẹkọ ki eto imulo naa dara si laisi fifọ tabi yiyọ si awọn abajade ibajẹ.
Kini idi ti GRPO paapaa wuyi fun awọn awoṣe ero ikẹkọ lori iṣiro tabi koodu?
Iṣapẹẹrẹ ọpọlọpọ awọn solusan ati igbelewọn wọn pẹlu awọn sọwedowo atunṣe adaṣe adaṣe ni mimọ pẹlu awọn anfani deede-ẹgbẹ GRPO, ko si alariwisi nilo.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii