Maxaa dhacay
Daabacaadda hordhaca ah ee loo gudbiyay arXiv Agoosto 24 waxay soo bandhigtay Credal Models Large Language Model, ama CLLMs, kuwaas oo adeegsada isku xidhka adabiyeyaasha LoRA si ay u matalaan saadaalin macquul ah oo kala duwan halkii ay ka ahaan lahaayeen qayb qaybinta itimaalka. Qorayaashu waxay soo saareen buundooyinka ballan-qaadka heerka token iyo heerka semantic waxayna ku qiimeeyaan ka jawaabista su'aalaha, hagaajinta, saadaalinta xulashada, ogaanshaha dhalanteedka, iyo sababaynta.
Warqaddu waxay qeexaysaa xaddidaadda habka caadiga ah ee moodooyinka luqaddu u taagan yihiin hubanti la'aan: qaabka caadiga ah wuxuu soo saaraa qaybinta saadaalinta ah, kaas oo qorayaashu ay yiraahdaan waxay isku dari kartaa jaahilnimada iyo mugdiga dhabta ah. Soo jeedintooda CLLM waxay isticmaashaa isku xidhka adabtarada LoRA si ay u sameeyaan waxa ay warqadu ugu yeerto go'an aqoonsiga. Erayada wax ku oolka ah, habka waxaa loogu talagalay in lagu ilaaliyo khilaafka ama lagu faafiyo qaybinta saadaasha macquulka ah halkii lagu cadaadin lahaa dhammaan hubanti la'aanta hal wax soo saar softmax. Isha ma sheeganayso in matalaaddani ay saxdo qaabka; waxay ku andacoonaysaa in ay ka dhigi karto heerka ballanqaadka moodeelka mid xog badan leh.
Qorayaashu waxay soo bandhigayaan laba tallaabo oo la xidhiidha. Ballanqaadka Credal Token, ama CTC, waxay ku shaqeysaa meel bannaan waxayna isku daraysaa taageerada hoose, ballaca aqoonsiga, iyo entropy isgoyska. Qoraalku wuxuu leeyahay CTC waa la xisaabin karaa iyada oo aan la helin jiil dheeraad ah, taas oo suurtogal ah in ay muhiim u tahay nidaamyada halkaas oo muunad soo noqnoqda ay ku kordhin karto daah ama kharash. Joogteynta Ballanqaadka Semantic, ama SCC, waxay fikradda ku fidisaa meel bannaan oo semantic ah iyadoo la isticmaalayo dhammaystir muunad ah. Waraaqdu waxay kaloo qeexaysaa SCC-Gap si loo cabbiro is-waafajinta u dhexeeya taageerada heerka calaamadda iyo taageerada heerka semantic. Dhibcahaan waxaa loo soo bandhigay sidii qalab lagu aqoonsanayo marka kalsoonida heerka sare ee moodeelku aysan la jaan qaadi karin macnaha kala duwan ee lagu muujiyay jawaabihiisa suurtagalka ah.
Qiimayntu waxay dabooshaa Gemma-2-9B, Llama-3.1-8B, iyo Qwen2.5-7B ee OpenBookQA, CoQA, TriviaQA, iyo ARC-Challenge. Marka loo eego qoraalka la taaban karo, CLLM waa habka ugu waxtarka badan ee saxnaanta su'aalaha-jawaabista iyadoo la ilaalinayo khaladka cabbirka ee la filayo. Qorayaashu waxay kaloo sheegeen in CTC ay ku timaaddo boqolkiiba 1.5 ee meesha ugu wanaagsan ee lagu ogaanayo dhalanteedka ee hoos yimaada qalooca sifada qaatiyaha ee inta badan goobaha, iyada oo aan lahayn jiil dheeraad ah. Saadaasha xulashada ee 80% daboolida, abstraction-ka ayaa ka warbixinaya saxnaanta 99.0% ee OpenBookQA ee CLLM oo leh SCC. Waxay bilaabeysaa inay sheegto natiijada ARC-Challenge ee CLLM iyadoo kalsooni leh laakiin waa la gooyay ka hor inta aan la bixin natiijada, si aan codsigaas looga qiimeynin isha la keenay.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Moodooyinka luqaddu waxay soo saari karaan jawaabo hufan oo leh kalsooni aan loo baahnayn. Haddii natiijooyinka la soo sheegay ay sii jiraan, cabbiraadda hubin la'aanta qaybo badan oo saadaaliya oo macquul ah waxay ka caawin kartaa nidaamyada inay aqoonsadaan jawaabaha u baahan xaqiijinta, ka-hortagga, ama dib u eegista aadanaha iyada oo aan loo baahnayn jiil dheeraad ah xaalado badan.
Arrinka dhabta ah ee udub-dhexaadka ah maahan si fudud in qaabka luqaddu uu su'aasha ka jawaabi karo, laakiin haddii uu kala saari karo aqoonta iyo hubaal la'aanta. Jawaabta saxda ah laakiin aan sax ahayn waxay noqon kartaa khatar ka badan diidmada cad marka isticmaalayaashu ay kalsoonida ula dhaqmaan caddayn ahaan. Soo jeedinta caddaynta warqadda ayaa wax ka qabanaysa dhibaatadaas iyada oo la ilaalinayo khilaafka saadaasha ku salaysan adabtarada. Haddi habka uu noqdo mid guud, waxa ay siin kartaa horumariyayaasha calaamad dhinaca model ah si ay u go'aansadaan marka si toos ah looga jawaabo, codsato xaqiijinta, u jiheeyo su'aasha nidaam kale, ama ku lug leh qof.
Natiijada saadaalinta doorashada ee la soo sheegay ayaa si gaar ah u khuseysa keenista sababtoo ah nidaamyada xulashada uma baahna inay ka jawaabaan su'aal kasta. Nidaamka ilaalin kara saxnaanta sare isagoo daboolaya kaliya kiisaska uu u arko in si ku filan loo taageeray ayaa laga yaabaa inuu faa'iido badan u yeesho goobaha ay khaladaadku qaadaan kharashyo macno leh. Saxnaanta 99.0% ee la soo sheegay ee 80% daboolida OpenBookQA waa dhiirigelin gudaha xogtaas iyo qaabaynta, laakiin waa in loo fahmo natiijo waraaq ah halkii caddayn laga bixin lahaa in nidaamka la diray uu gaadhi doono isla waxqabadkaas. Qoraalku ma qeexayo tirada tusaalooyinka, hababka isbarbardhigga, ama qeexida hawlgelinta caymiska.
Sheegashada jiil-la'aanta dheeraadka ah ee CTC waxay sidoo kale saameyn ku yeelan kartaa naqshadeynta fikradda. Farsamo badan oo hubanti la'aan ah ayaa ku tiirsan soo saarista dhamaystir badan, taas oo kordhin karta xisaabinta iyo dib u dhigista. Isha ayaa sheegaysa in CTC ay isku darayso tirooyin dhowr ah oo hubanti la'aan la xiriirta iyada oo aan la helin jiil dheeri ah, halka SCC ay si cad u isticmaasho dhamaystirka muunad. Kala soocidaasi waxay siinaysaa xaashida xagal injineernimo oo la taaban karo: hal buundo ayaa laga yaabaa inay ka jaban tahay codsashada, halka kan kalena uu si toos ah u qabsan karo khilaafka semantiga. Qoraalku ma qiyaaso qiimaha LoRA-da laftiisa, si kastaba ha ahaatee, si kastaba ha ahaatee, wadarta guud ee u adeegida ganacsiga ayaa ah mid aan la garanayn.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
What is a common training objective for an autoregressive language model?
Maxaa la daawan doona xiga
Natiijadu hadda waa qiimayn horudhac ah oo qoraagu ka warbixiyay, ma aha hawl-qabad si madax-bannaan loo aasaasay. Faahfaahinta muhiimka ah ayaan weli laga heli karin qoraalka la soo bandhigay, oo ay ku jiraan natiijada buuxda ee ARC-Challenge, saldhigyada saxda ah, xisaabinta sareynta, iyo sida wanaagsan ee habka uu uga gudbo moodooyinka la tijaabiyay iyo kaydinta xogta.
Su'aasha koowaad waxay tahay in guulaha la soo sheegay ay ka badbaadaan ku-noqoshada madaxbannaanida. Isha ayaa ah daabacaad hore oo arXiv ah oo la gudbiyay Agoosto 24, 2026, agabka la keenayna waxa uu ka kooban yahay kaliya wax aan la taaban karin. Sidaa darteed natiijadu waa sheegasho ay sameeyeen qorayaashu, ee maaha xaqiiqooyin si madax banaan loo xaqiijiyay. Baadhitaanka daba-galka ahi waa in uu baaro shaxaha buuxa, gundhigga, qeexitaannada kalsoonida, kala duwanaanshaha tirakoobka, iyo haddii faa'iidooyinka la soo sheegay ay yihiin kuwo joogto ah dhammaan afarta xog-ururin iyo dhammaan saddexda nooc ee qoys.
Weedha ARC-Caqabadda abstract waa mid aan dhammaystirnayn: waxay sheegaysaa in CLLM oo leh kalsooni Csem ay gaadho natiijo laakiin ma bixiso qiimaha. Macluumaadka maqan ayaa xaddidaya isbarbardhigga sheegashada OpenBookQA oo dhammaystiran oo waxay ka hortagtaa qiimayn buuxda ee habka sababaynta. Wargeysku waxa kale oo uu soo tebiyaa natiijada baadhista dhalanteedka iyada oo la eegayo in lagu jiro boqolkiiba 1.5 dhibcaha AUROC ugu fiican inta badan goobaha, laakiin isha la keenay ma tilmaamayso buundooyinka dhammaystiran, hababka tartanka ugu fiican, ama waxa ka reeban.
Su'aalaha keenista ayaa sidoo kale muhiim ah. Waraaqdu waxay isticmaashaa isku xidhka adabtarada LoRA, abstraction-kuna ma sheegayo inta adapters ee loo baahan yahay, sida loo tababaray, ama inta xusuusta iyo wakhtiga ay ku darayaan. Waxa kale oo ay qiimaysaa saddex nooc oo luuqadeed oo la magacaabay iyo afar xog-ururin oo su'aalo-jawaab ah. Ilaa hadda lama garanayo in buundooyinku u shaqeeyaan wada-sheekeysi dheer, jiil-furan, wax-soo-gelin luqado badan, hawlo gaar ah, ama moodallo ka baxsan cabbirka la tijaabiyay iyo kala duwanaanshaha qaab dhismeedka. Ilaa su'aalahaas laga jawaabo, CLLM waxaa sida ugu wanaagsan loogula dhaqmaa sidii hab cilmi baaris oo rajo leh oo lagu cabbirayo hubanti la'aanta halkii ay ka ahaan lahayd ilaalin la ansaxiyay ee isticmaalka sarraysa.