Kini o ṣẹlẹ
Awọn oniwadi ṣe agbekalẹ gbigbe gbigbe kirẹditi oniṣiro-iṣiro, ọna kan fun ṣiṣe ipinfunni kirẹditi ikẹkọ-ikunrisi si awọn ami onikaluku ni ibamu si iṣiro ti a ṣe nipasẹ awoṣe ede lakoko idahun. Imuse wọn, CompPO, nlo ifọkansi akiyesi lati ṣẹda ẹnu-ọna idaduro ami-ami kan ati pe o darapọ pẹlu alariwisi ti o tun lo awọn ipinlẹ ti o farapamọ ti oṣere ati alaye ipa-ọna.
Atẹjade iṣaaju ti a fi silẹ si arXiv ni Oṣu Kẹjọ Ọjọ 21 ṣe igbero ọna tuntun lati fi kirẹditi sọtọ lakoko ikẹkọ imuduro fun awọn awoṣe ede nla. Iwe naa ya sọtọ iṣẹ iyansilẹ kirẹditi si awọn apakan mẹta: ẹri nipa boya yiyipada ṣaṣeyọri, oniṣẹ ẹrọ gbigbe kan ti o yi ẹri yẹn pada si awọn anfani ipele-ami, ati geometry imudojuiwọn ti o yi awọn anfani wọnyẹn pada si awọn iyipada eto imulo. Awọn onkọwe jiyan pe iṣẹ aipẹ ti ni ilọsiwaju akọkọ ati awọn apakan kẹta, lakoko ti awọn ofin gbigbe ti a lo nigbagbogbo wa ni ominira pupọ si faaji awoṣe.
Ilana ti a dabaa, ti a pe ni gbigbe gbigbe kirẹditi ti o ni iṣiro-iṣiro, nlo iṣiro iyasọtọ lati iṣiro inu eto imulo ihuwasi lati ṣe afiwe bi iye isale ti n gbe nipasẹ yiyi. Algorithm nja, CompPO, ṣe iyipada ifọkansi akiyesi abinibi sinu ẹnu-ọna idaduro ti o ni opin fun ami-ami kọọkan. Ti lo ẹnu-ọna yẹn mejeeji fun bata bata-igbesẹ kan ati fun itọpa anfani gbogbogbo-igbẹkẹle ti a pe ni Comp-GAE. Awọn onkọwe ṣalaye pe ẹnu-ọna ibakan dinku ọna si iṣiro anfani gbogbogbo alasọpọ, pese ọna asopọ si ipilẹ ipilẹ kan.
CompPO tun pẹlu alariwisi ti o ni ibamu irinna, tabi TAC. Dipo fifi Amunawa keji ti iwọn kanna, TAC tun lo awọn ipinlẹ ti o farapamọ ti oṣere ati alaye ipa-ọna. Iwe naa sọ pe ẹsan iṣẹ-ṣiṣe ati ipinnu eto imulo PPO ti gige ko wa ni iyipada; iyipada ti a beere ni bi a ṣe n gbe kirẹditi ati bii alariwisi ṣe ni ibamu pẹlu irinna yẹn. Ninu awọn adanwo nipa lilo awọn irugbin Qwen3-4B marun, awọn onkọwe ṣe ijabọ 61.4% deede ti o waye ni ipari, pẹlu aarin igbẹkẹle 95% ti 60.8% si 62.0%, ni akawe pẹlu 53.8%, pẹlu aarin ti 52.9% si 54.7%, fun GRPO aifwy.
Awọn abajade ifasilẹ iwe naa ṣe afihan abajade si apapo awọn paati. Comp-GAE so pọ pẹlu alariwisi boṣewa de 55.2%, lakoko ti TAC so pọ pẹlu ẹnu-ọna ti o wa titi de 56.4%; bẹni ko baramu ni kikun eto. Awọn onkọwe ṣe ijabọ ipa ibaraenisepo ti awọn aaye 2.4, pẹlu aarin igbẹkẹle 95% ti 1.9 si awọn aaye 2.9. Daarapọmọra ati awọn iṣakoso ipo ni a royin lati ṣe atilẹyin titete-pato ipa-ọna. CompPO jẹ iduroṣinṣin ni 10 ti 12 PPO-grid gbalaye, ni akawe pẹlu 3 ti 12 fun iṣeto lafiwe. Lori awọn igbelewọn tio tutunini, awọn onkọwe ṣe ijabọ awọn ilọsiwaju lori GRPO ti 4.3 ati 3.9 greedy pass@1 macropoints lori Qwen3-4B ati Llama-3.1-8B-Itọnisọna, lẹsẹsẹ.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Abajade n ṣalaye igo ti o wulo ni ikẹkọ imuduro fun awọn awoṣe ede nla: pinnu iru awọn apakan ti idahun gigun kan yẹ iyi tabi ẹbi fun abajade ikẹhin. Awọn onkọwe ṣe ijabọ awọn ilọsiwaju lori GRPO aifwy, ṣugbọn ẹri naa wa lati inu iwe-tẹlẹ ati ṣeto awọn adanwo to lopin, nitorinaa gbogbogbo ọna naa ati idiyele iṣẹ ṣiṣe jẹ aidaniloju.
Ẹkọ imuduro fun awọn awoṣe ede gbọdọ so ẹsan ikẹhin pọ si ọpọlọpọ awọn ami-ami kọọkan ati awọn ipinnu agbedemeji. Idahun le ni awọn igbesẹ ti o wulo ati ti ko ṣe iranlọwọ, ṣugbọn ọna ti o tan kaakiri iṣiro abajade kanna ni gbogbo idahun le pese itọnisọna alailagbara. Ibeere agbedemeji iwe naa ni pe iṣiro ti ara awoṣe le pese ifihan agbara kan pato diẹ sii fun ṣiṣe ipinnu bii kirẹditi to lagbara yẹ ki o tẹsiwaju lati ami ami kan si ekeji.
Ti ipa ti o royin ba wa ni awọn eto ti o gbooro, gbigbe-kirẹditi ti o mọ faaji le ṣe awọn imudojuiwọn imuduro-ẹkọ ni ìfọkànsí diẹ sii laisi nilo asọye ere ti o yatọ tabi ibi-afẹde eto imulo. Iyẹn ṣe pataki nitori awọn iyipada si iṣẹ iyansilẹ kirẹditi le ni agbara lati dapọ si awọn opo gigun ti ara PPO ti o wa tẹlẹ. Ifiwewe ti a royin pẹlu GRPO ṣe pataki ni pataki si adaṣe imuduro LLM lọwọlọwọ nitori pe o ṣe fireemu ọna ti a dabaa bi iyipada si ifihan agbara ikẹkọ dipo idile awoṣe tuntun tabi ọja ti nkọju si olumulo.
Awọn ablations ti a royin jẹ iwulo nitori wọn daba abajade ko ṣe alaye nipasẹ boya ẹnu-ọna ti a gba akiyesi tabi alariwisi ti a tun lo nikan. Ọna ti o ni kikun ṣe dara julọ ju awọn iyatọ apa mejeeji lọ ninu awọn abajade ti a pese, ati awọn onkọwe sọ pe daapọ ati awọn iṣakoso ipo ṣe atilẹyin imọran pe titete-pato pato awọn ọrọ. Ifiwewe iduroṣinṣin tun tọka si anfani ilowo ti o ṣeeṣe: awọn ṣiṣe aiduro diẹ diẹ le dinku awọn igbiyanju ikẹkọ ti o padanu, botilẹjẹpe orisun ko pese iṣiro tabi awọn wiwọn idiyele.
Ẹri naa yẹ ki o tun ka bi abajade iwadii kutukutu. Orisun naa jẹ atẹjade tẹlẹ arXiv, kii ṣe iwe atunwo ẹlẹgbẹ, ati pe abtract ko ṣe apejuwe awọn iṣẹ ṣiṣe ti o wa ni abẹlẹ, awọn iwọn dataset, awọn alaye imuse ipilẹ, awọn isuna ikẹkọ, tabi awọn ilana iṣiro ti o kọja awọn aarin igbẹkẹle ti a royin. Ko tun fi idi rẹ mulẹ boya awọn anfani wa pẹlu afikun iranti, aiduro, idiju imọ-ẹrọ, tabi ifamọ si awọn ilana akiyesi. Ipa ti gbogbo eniyan ti ọna naa nitorina da lori boya awọn oniwadi ominira le ṣe ẹda awọn abajade ati boya ọna gbigbe si awọn awoṣe nla ati awọn ibi-afẹde ikẹkọ oriṣiriṣi.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
Which component of an AI application is the machine-learning model itself?
Kini lati wo tókàn
Awọn idanwo pataki atẹle jẹ ẹda ominira, awoṣe gbooro ati agbegbe iṣẹ, ati awọn afiwera ti o pẹlu idiyele ikẹkọ, lilo iranti, ati akoko ṣiṣe. Orisun naa ko fi idi rẹ mulẹ boya CompPO n ṣiṣẹ ni igbẹkẹle kọja Qwen3-4B ti a royin ati Llama-3.1-8B-Awọn igbelewọn ilana tabi boya ifihan ti o da lori akiyesi jẹ iwulo kọja oriṣiriṣi awọn faaji awoṣe.
Ni ayo akọkọ jẹ ẹda ti o kọja awọn irugbin Qwen3-4B marun ati awọn igbelewọn tutunini ti a royin. Awọn ẹgbẹ olominira yẹ ki o ṣe idanwo ọna naa lori awọn iwọn awoṣe diẹ sii, awọn iṣẹ ikẹkọ, awọn ẹya ere, ati awọn ayaworan awoṣe-ede. Awọn orukọ orisun Qwen3-4B ati Llama-3.1-8B-Itọnisọna, sugbon o ko so boya awọn ọna ti a akojopo kọja kan anfani ibiti o ti si dede tabi boya akiyesi ifihan agbara huwa bakanna ni faaji pẹlu o yatọ si afisona tabi akiyesi awọn aṣa.
Awọn oniwadi yẹ ki o tun ṣe iwọn iṣowo ikẹkọ ni kikun. Iwe naa sọ pe TAC tun lo awọn ipinlẹ ti o farapamọ oṣere ati alaye ipa-ọna laisi Amunawa iwọn-iwọn keji, ṣugbọn orisun ko ṣe iwọn lilo iranti, akoko ikẹkọ aago odi, awọn ibeere ohun elo, tabi iṣiro lapapọ. Awọn wiwọn wọnyẹn yoo pinnu boya deede ti o royin ati awọn anfani iduroṣinṣin jẹ ilowo fun awọn ẹgbẹ ti o ti ṣiṣẹ tẹlẹ awọn opo gigun ti imudara-ti o gbowolori.
Iṣẹ siwaju yẹ ki o ṣe ayẹwo bi o ṣe lagbara ti ẹnu-ọna idaduro ifarabalẹ jẹ. Idapọmọra ti a royin ati awọn iṣakoso ipo ṣe atilẹyin titete itọpa-pato laarin awọn adanwo, ṣugbọn orisun ko ṣe afihan bi ẹnu-ọna ṣe n dahun si awọn ipo gigun, awọn itọpa ironu dani, fọnka tabi awọn ere alariwo, tabi awọn iyipada ninu itasi ati iṣapẹẹrẹ. O tun jẹ aimọ boya ifọkansi akiyesi jẹ aṣoju igbẹkẹle fun pataki iširo tabi ifihan agbara kan fun awọn awoṣe pato ati awọn iṣẹ ṣiṣe idanwo.
Nikẹhin, ipo ti ọna naa bi awọn ọrọ iṣaaju. Orisun naa ko ṣe ijabọ ijẹrisi ominira, imuṣiṣẹ iṣelọpọ, wiwa koodu, tabi awọn abajade atunyẹwo ẹlẹgbẹ. Awọn ifasilẹ yẹn ko sọ awọn awari naa di asan, ṣugbọn wọn fi awọn ibeere pataki silẹ laini idahun nipa isọdọtun ati gbogbogbo. Ẹjọ ti o ni okun sii yoo nilo awọn alaye imuse ti a tu silẹ, awọn ipilẹ iye owo ti o baamu, awọn abajade kọja awọn ilana faaji, ati ẹri pe awọn ilọsiwaju duro ni ita iṣeto igbelewọn awọn onkọwe.