Maxaa dhacay
Cilmi-baadhayaashu waxay soo bandhigeen gaadiidka credit-conditioned-computation, hab lagu meeleeyo credit xoojinta-barashada calaamadaha shakhsi ahaaneed iyadoo loo eegayo xisaabinta uu sameeyay qaabka luqadda inta lagu jiro jawaabta. Hirgelintooda, CompPO, waxay isticmaashaa feejignaanta si ay u abuurto albaab haynta calaamad kasta oo ay ku darayso dhaleeceyn dib u adeegsata dawladaha qarsoon ee jilaa iyo macluumaadka marin haynta.
Daabacaad horudhac ah oo loo gudbiyay arXiv Agoosto 21 waxay soo jeedinaysaa hab cusub oo lagu meeleeyo credit inta lagu jiro xoojinta barashada qaababka luqadaha waaweyn. Waraaqdu waxay u kala soocaysaa shaqada amaahda saddex qaybood: caddaynta ku saabsan in duubistii lagu guulaystay iyo in kale, wadayaasha gaadiidka oo caddaynta u beddelaya faa'iidooyinka heerka calaamadda ah, iyo joomatari cusboonaysiinta oo faa'iidooyinkaas u beddela isbeddello siyaasadeed. Qorayaashu waxay ku doodayaan in shaqada dhawaanahan ay wanaajisay qaybaha koowaad iyo saddexaad, halka xeerarka gaadiidka ee caadiga ah la isticmaalo ay si weyn uga madaxbannaan yihiin qaab-dhismeedka moodeelka.
Qaabka la soo jeediyay, ee loo yaqaan gaadiidka credit computation-conditioned, waxay isticmaashaa xisaabin ka go'an xisaabinta gudaha siyaasada habdhaqanka si loo qiyaaso sida qiimaha hoose loo qaado iyada oo loo marayo duubis. Algorithm-ka la taaban karo, CompPO, wuxuu u beddelaa feejignaanta waddaniga ah albaab xajin oo xaddidan calaamad kasta. Albaabkaas waxaa loo isticmaalaa labadaba hal-tallaabo bootstrapping iyo raad faa'iido guud-ku-tiirsan oo loo yaqaan Comp-GAE. Qorayaashu waxay sheegaan in albaabka joogtada ahi uu yareeyo habka loo eegayo qiyaasta faa'iidada guud ee isugeynta-go'an, iyada oo siinaya isku xirka heerka aasaasiga ah.
CompPO waxa kale oo ku jira naqdiye isku xidhan gaadiidka, ama TAC. Halkii lagu dari lahaa Transformer labaad oo isku miisaan ah, TAC waxay dib u isticmaashaa gobolada qarsoon ee jilaa iyo macluumaadka dariiqa. Wargeysku wuxuu leeyahay abaal-marintii hawsha iyo ujeeddada siyaasadda PPO ee la gooyay weli waxba iskama beddelin; isbeddelka la sheegay ayaa ah sida amaahda loo qaado iyo sida dhaleeceynta ula jaanqaado gaadiidkaas. Tijaabooyin la adeegsanayo shan Qwen3-4B, qorayaashu waxay soo sheegeen 61.4% saxnaanta kama dambaysta ah, iyadoo 95% u dhexaysa kalsoonida 60.8% ilaa 62.0%, marka la barbar dhigo 53.8%, iyada oo u dhaxaysa 52.9% ilaa 54.7%, loogu talagalay GRPO.
Natiijooyinka xajinta warqadda waxay natiijada u nisbeeyaan isku dhafka qaybaha. Comp-GAE oo lagu lamaanay naqdiye heersare ah ayaa gaadhay 55.2%, halka TAC ay ku lammaanisay albaab go'an ay gaadheen 56.4%; Midna uma dhigmin nidaamka buuxa. Qorayaashu waxay ka warbixiyaan saameynta isdhexgalka ee 2.4 dhibcood, oo leh 95% kalsoonida kalsoonida ee 1.9 ilaa 2.9 dhibcood. Isku shaandhaynta iyo kontaroolada boosaska ayaa la soo sheegay si ay u taageeraan toosinta jihada gaarka ah. CompPO waxay ku xasiloonayd 10 ka mid ah 12 PPO-grid orod, marka la barbar dhigo 3 ee 12 marka la barbardhigo isbarbardhigga. Qiimaynta la qaboojiyey, qorayaashu waxay ka warbixiyaan horumarrada GRPO ee 4.3 iyo 3.9 baasaska hunguriga ah @ 1 dhibcood ee Qwen3-4B iyo Llama-3.1-8B-Instruct, siday u kala horreeyaan.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Natiijadu waxay ka hadlaysaa ciribtirka la taaban karo ee xoojinta barashada qaababka luqadaha: go'aaminta qaybaha jawaabta dheer ee mudan ammaanta ama eedda natiijada kama dambaysta ah. Qorayaashu waxay ka warbixiyaan horumarrada GRPO ee la hagaajiyay, laakiin caddayntu waxay ka timaaddaa daabacaad iyo tijaabo xaddidan, markaa habka guud iyo kharashka hawlgelinta ayaa weli ah mid aan la hubin.
Xoojinta barashada moodooyinka luqadda waa in ay ku xidhaa abaalmarinta kama dambaysta ah calaamado badan oo shakhsi ah iyo go'aanno dhexdhexaad ah. Jawaabtu waxay ka koobnaan kartaa tillaabooyin faa'iido leh oo aan faa'iido lahayn, laakiin habka faafiya isla tirakoobka natiijada guud ahaan jawaabta oo dhan ayaa laga yaabaa inay bixiso hagitaan daciif ah. Sheegashada dhexe ee warqadu waa in xisaabinta moodelku uu bixin karo calaamad gaar ah oo lagu go'aaminayo sida adag ee ay tahay in credit-ku u sii jiro hal calaamad ilaa kan xiga.
Haddii saamaynta la soo sheegay ay ku hayso goobo ballaadhan, gadiidka amaahda ee garanaya dhismaha waxay ka dhigi kartaa cusboonaysiinta xoojinta-barashada si ka sii bartilmaameedsan iyada oo aan loo baahnayn qeexitaan abaal-marin oo ka duwan ama ujeeddada siyaasadda. Taasi waa muhiim sababtoo ah isbeddelada ku yimaada shaqada amaahda waxaa suurtogal ah in lagu daro dhuumaha tababarka qaabka PPO ee jira. Isbarbardhigga la soo sheegay ee GRPO wuxuu si gaar ah u khuseeyaa dhaqanka xoojinta-waxbarashada LLM ee hadda jira sababtoo ah waxay u qaabaynaysaa habka la soo jeediyay oo ah beddelka calaamadda tababarka halkii ay ka ahaan lahayd qoys nooc cusub ama badeecad u jeedda isticmaale.
Afduubyada la soo sheegay waa kuwo faa'iido leh sababtoo ah waxay soo jeedinayaan natiijadu ma sharaxin albaabka dareenka laga soo qaatay ama dhaleeceynta dib loo isticmaalay keligiis. Habka buuxa ayaa loo sameeyay si ka wanaagsan labada nooc ee kala duwanaanshaha natiijooyinka la bixiyay, qorayaashuna waxay yiraahdeen isku shaandhaynta iyo kontaroolada boosku waxay taageerayaan fikradda ah isku toosinta u gaarka ah arrimaha. Isbarbardhigga xasilloonida ayaa sidoo kale tilmaamaya faa'iido wax ku ool ah oo suurtagal ah: orodyo yar oo aan xasilloonayn ayaa yarayn kara isku dayga tababarka ee khasaaray, inkasta oo isha aysan bixinin xisaabinta ama cabbirrada qiimaha.
Caddaynta waa in weli loo akhriyaa natiijada cilmi-baarista hore. Isha ayaa ah daabacaadda arXiv, ma aha daabacaad ay dib u eegeen asxaabtooda, abstractionkuna ma qeexayo hawlaha hoose, cabbirrada xogta, tafaasiisha hirgelinta aasaasiga ah, miisaaniyada tababarka, ama hababka tirakoobka ee ka baxsan muddada kalsoonida la sheegay. Sidoo kale ma cadda in faa'iidooyinku ay la yimaadaan xasuus dheeri ah, daahitaan, kakanaanta injineernimada, ama dareenka qaababka dareenka. Saamaynta dawliga ah ee habka sidaas darteed waxay ku xiran tahay haddii cilmi-baarayaasha madax-bannaani ay soo saari karaan natiijooyinka iyo haddii habka loo wareejiyo moodallo waaweyn iyo ujeedooyin kala duwan oo xoojin-barasho ah.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Tijaabooyinka soo socda ee muhiimka ah waa ku celcelin madax-bannaan, moodal ballaadhan iyo caymis hawsha, iyo isbarbardhigga oo ay ku jiraan kharashka tababarka, isticmaalka xusuusta, iyo wakhtiga run. Isha ma cadda in CompPO u shaqeyso si la isku halleyn karo oo ka baxsan Qwen3-4B iyo Llama-3.1-8B-qiimeynta tilmaamaha ama haddii calaamadeeda ku saleysan feejignaantu ay weli faa'iido u leedahay naqshadaha moodeelka ee kala duwan.
Mudnaanta koowaad waa ku-noqoshada ka baxsan shanta abuurka Qwen3-4B iyo qiimaynta la barafeeyay ee la soo sheegay. Kooxaha madax-banaani waa inay tijaabiyaan habka cabbirrada moodeelka badan, hawlaha tababbarka, qaab-dhismeedka abaal-marinta, iyo qaab-dhismeedka-qaab-afeedka. Ilaha magacyadooda Qwen3-4B iyo Llama-3.1-8B-Instruct, laakiin ma sheegin in habka lagu qiimeeyay noocyo kala duwan oo ballaaran ama haddii calaamadda dareenka u dhaqmo si la mid ah in naqshadaha la jiheeyayaal kala duwan ama naqshado dareenka.
Cilmi-baarayaashu waa inay sidoo kale cabbiraan ganacsiga buuxa ee tababarka. Wargeysku wuxuu leeyahay TAC waxay dib u isticmaashaa gobolada qarsoon ee jilayaasha iyo macluumaadka dariiqa iyada oo aan la helin Beddelka labaad ee isku midka ah, laakiin isha ma qiyaaseyso isticmaalka xusuusta, wakhtiga tababarka derbiga, shuruudaha qalabka, ama xisaabinta guud. Cabbiraadahaas ayaa go'aamin doona in guulaha la soo sheegay ee saxnaanta iyo xasilloonida ay yihiin kuwo wax ku ool u ah hay'adaha horey u waday dhuumaha xoojinta-waxbarasho ee qaaliga ah.
Shaqada dheeraadka ah waa in ay baartaa sida ay u adag tahay albaabka haynta ee laga keenay. Isku shaandhaynta la soo sheegay iyo kontaroolada boosku waxay taageerayaan toosinta u gaarka ah ee tijaabooyinka dhexdiisa, laakiin isha ma tusin sida iridu uga jawaabto duruufaha dheer, raad macquul ah oo aan caadi ahayn, abaal-marin aan badnayn ama buuq badan, ama isbedel ku yimaadda kicinta iyo muunad. Waxa kale oo aan la garanayn in feejignaantu ay tahay wakiil lagu kalsoonaan karo oo muhiim u ah xisaabinta ama kaliya calaamad waxtar u leh noocyada iyo hawlaha gaarka ah ee la tijaabiyey.
Ugu dambeyntii, xaaladda habka sida preprint arrimaha. Isha kama warbixiso xaqiijinta madax-banaan, geynta wax soo saarka, helitaanka koodka, ama natiijooyinka dib u eegista asxaabta. Ka tagistaasi ma burinayso natiijooyinka, laakiin waxay ka tagaan su'aalaha muhiimka ah ee aan jawaab loo helin ee ku saabsan soo saarista iyo guud ahaan. Kiis ka xoog badan waxa uu u baahan doonaa tafaasiisha fulinta ee la sii daayo, qiimaha gundhigga u dhigma, natiijooyinka qaab-dhismeedyo dheeraad ah, iyo caddaynta in horumarintu ay ka baxsan tahay dejinta qiimaynta qorayaasha.