Lu xew
Benn preprint buñu joxe arXiv ci 24 ut bi dafay wane Credal Large Language Models, wala CLLMs, yuy jëfandikoo ensemble adaptatëru LoRA ngir wane xeetu waxtaan yu wóor yi ci barabu benn séddale probabilite. Auteur yi dañuy jël poñ yi ci niveau token ak ci niveau semantique ba noppi jàngat leen ngir tontu laaj yi, etalonnage, wax luy waaja am ci tànneef, gis , ak xalaat.
Këyit dafay fësal benn gàttal ci anam wi xeetu làkk yi di faral di wane lu wóorul: xeetu làkk buñ miin dafay defar benn séddale buy wax luy waaja am, te bindkat yi neena ñu mën na boole ñàkk xam-xam ak ñàkka leer dëgg. Lu moy loolu, seen CLLM bi ñu nara def dafay jëfandikoo ensemble adaptateur LoRA ngir sos li këyit bi di woowe ensemble credal. Ci anam wu gëna woyof, anam wi ñu ko bëggee mooy moytu ñàkka deggoo wala tasaaroo ci diggante séddale yiñ mëna wax luy waaja am, moo gën ñu boole lépp lu wóorul ci benn softmax output. Source bi waxul ni representation bii dafay tax model bi jub; Dafa wax ni mën na gëna yombal degré de commitment model bi.
Auteur yi dañu dugal ñaari matuwaay yu méngoo. Credal Token Commitment, wala CTC, dafay dox ci barabu token ba noppi boole ndimmbal bu gëna suufe, yaatuwaayu kredal, ak entropi daje. Abstract bi dafa wax ni CTC mën nañu ko xayma te du am beneen generation, te loolu mën na am solo ci sistem yi ñuy baamtu sampling bi di yokk latency wala njëg. Mbootaayu Déggoo Semantik, wala SCC, dafay yaatal xalaat bi ci barabu semantik ci jëfandikoo misaali matt. Këyit dafay màndargaal itam SCC-Gap ngir natt ñàkka méngoo gi am ci digganté ndimmbalu niveau token ak ndimmbalu niveau semantic. Njortu yooyu dañu leen joxe ni jumtukaay ngir xàmmee su gëm-gëmu surface-niveau model bi mënul méngoo ak bariwaayu maana yi tontu yi mëna am.
Jangat bi dafay wax ci Gemma-2-9B, Llama-3.1-8B, ak Qwen2.5-7B ci OpenBookQA, CoQA, TriviaQA, ak ARC-Challenge. Sunu sukkandikoo ci abstract bi, CLLM mooy anam wi gëna am njariñ ci laaj-tontu bu jaar yoon, boole ci tëye njuumte yiñ seentu ci etalonnage bi. Auteur yi dañu wax itam ni CTC mingi ñëw ci diggante 1.5 poñ ci teemeer boo jél ci barab bi gëna baax ngir gis ay gis-gis ci suufu courbe biy doxal récepteur bi ci jekkal yu bari, te amul beneen generation. Ci wàllu tanneef ci 80% ci coverage, abstract bi dafay wane 99.0% ci OpenBookQA ngir CLLM ak SCC. Dafa tàmbali wax ab resultaa ARC-Challenge ngir CLLM ak wóolu Csem waaye dañu koy dagg balaa muy joxe resultaa bi, suko defee ñu mënatul xool laaj bi ci balluwaay biñ joxe.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Royuwaayi làkk yi mën nañu joxe tontu yu neex ak wóolu sa bopp bu amul benn sabab. Sudee liñu xamle ci resultaa yi dafay wéy, natt lu wóorul ci distribution yu bari yuñ mëna wax luy waaja am mën na jàppale sistem yi ñu xàmmee tontu yi soxla firnde, moytu, wala xoolaat nit te soxlawul yeneen generation ci anam yu bari.
Li gëna am solo ci jëfandikoo gi mooy ndax modelu làkk bi mën na tontu ab laaj, waaye ndax mën na wuutale xam-xam ak lu wóorul. Tontu bu neex te juum mën na gëna jur loraange ak baña nangu bu leer sudee jëfandikukat yi dañu jàpp ni wóolu sa bopp mooy firnde. Representation credal biñu xalaat ci këyit bi dafay saafara jafe-jafe boobu ci tëye ñàkka deggoo ci diggante waxtaan yi lalu ci adaptatër. Sudee anam wi dafay yamale, mën na jox developpeur yi benn siñaal ci wàllu model ngir mëna tànn kañ lañu wara tontu ci saasi, laaj firnde, yóbbu laaj bi ci beneen sistem, wala boole ci nit.
Resultaa yiñ joxe ci prediction selective bi dafa am solo lool ci jëfandikoo gi ndax sistem selective yi soxla wuñu tontu laaj bu nekk. Sistem bu mëna tëye njubte gu bari te ba noppi di wax ci mbir yi mu jàpp ni mën nañu ko jàppale, mën na gëna am njariñ ci barab yu njuumte yi di jur njëg yu bari. Raporte 99.0% njub ci 80% coverage ci OpenBookQA dafay yokk fit ci biir dataset ak configuration, waaye dañu ko wara jàppee ni resultaa këyit moo gën firnde ni sistem biñ dugal dina def benn performance. Résumé bi leeralul limu misaal yi, anam yi ñuy méngale, wala li ñuy wax ci coverage bi.
Rax ci dollu CTC mën na nekk lu am solo ci konseptioŋ inference. Pexem ñàkka wóor yu bari dañu aju ci defar ay mbir yu bari yu ñuy matal, te loolu mën na yokk xayma bi ak yeexal bi. Woykat bi dafa wax ni CTC dafa boole ay lim yu bari yu jëm ci ñàkka wóor te du am beneen defar, fekk SCC dafay jëfandikoo bu baax ay misaal yuñ jël. Taxawaay boobu dafay jox këyit bi benn angle ingénieur bu fëgër: benn poñ mën na gëna xéewale ci jëfandikoo, waaye beneen poñ bi mën na gëna jàpp ñàkka deggoo semantik ci saasi. Abstract bi mënul xayma njëgu ensemble LoRA ci boppam, moo tax xamu ñu limuy def ci kompromis bi.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
What is a common training objective for an autoregressive language model?
Li nga wara seetaan ci topp
Resultaa bi fi mu nekk nii, jàngat la bu bindkat bi def, du gis-gis bu kenn xamul ci liggéey bi. Ay detay yu am solo nekkul ci abstract biñ joxe, lu ci melni resultaa ARC-Challenge bi yépp, baselines yu dëggu yi, njëgu ordinatër bi, ak ni njubluwaay bi di toxalee ginaaw model yiñ natt ak ensemble done yi.
Laaj bi njëkk mooy ndax benefiis yiñ xamle mën nañu mucc ci replication moomel sa bopp. Ibër bi mooy arXiv preprint biñ joxe ci 24 ut 2026, te mbiri mbir yiñ joxe amul lenn ludul abstract. Kon resultaa yi ay waxtaan lañu yu bindkat yi wax, duñu ay mbiri bopp yuñ firndeel seen bopp. Topp-topp saytu dafa wara xoolaat tablo yi yépp, baselines, firnde wóolu, coppite ci lim, ak ndax njariñ yi ñu xamle dañuy méngoo ci ñeenti done yépp ak ñetti famiy model yi.
Abstract ARC-Challenge frase bi mattul: dafa wax ni CLLM ak Csem wóolu defnañu njariñ waaye du joxe valeur. Leeral yooyu ñàkk dañuy tënk méngale ak OpenBookQA bi mat te dafay tere jàngat bu mat sëkk ci anam wi ñuy xalaatee. Këyit dafa wax itam ni gis-gis bu baaxul ci wàllu nekk ci diggante 1.5 poñ ci teemeer boo jél ci AUROC bi gëna baax ci jekkal yu bari, waaye balluwaay biñ joxe xamul poñ yi absolu, pexe yi gëna baax ci joŋante, wala exception yi.
Laaj yi jëm ci génne liggéey dañu am solo noonu. Këyit dafay jëfandikoo ensemble adaptateur LoRA, te abstract bi waxul ñaata adaptateur lañu soxla, naka lañu leen di tàggatee, wala ñaata memory ak inference time lañuy yokk. Dafay jàngat itam ñetti xeeti làkk yu am tur ak ñeenti done yuy tontu ci laaj. Xamu ñu ndax poñ yi dañuy dox ci waxtaan yu gëna gudd, defar lu ubbeeku, dugal làkk yu bari, liggéey yu jëm ci domen bi, wala model yu nekk ci bitti dayo biñ natt ak architecture bi. Bañu tontu laaj yooyu, CLLM mooy gëna baax ñu jàppee ko ni xeetu gëstu bu am njariñ ngir natt lu wóorul, moo gën ñu jàppee ko ni kaaraange gu wóor ngir jëfandikoo lu am solo.