Me ya faru
Rubutun da aka ƙaddamar zuwa arXiv a kan Agusta 24 yana gabatar da Samfuran Manyan Harshe na Credal, ko CLLMs, waɗanda ke amfani da tarin adaftar LoRA don wakiltar kewayon tsinkaya masu yuwuwa maimakon rarraba yuwuwar guda ɗaya. Marubutan sun sami maki-matakin alamar alama da matakin ɗabi'a na ma'ana kuma suna kimanta su don amsa tambaya, daidaitawa, zaɓin tsinkaya, gano , da tunani.
Takardar ta bayyana ƙayyadaddun ƙayyadaddun ƙayyadaddun tsarin harshe na yau da kullun suna wakiltar rashin tabbas: daidaitaccen tsari yana samar da rarraba tsinkaya guda ɗaya, wanda marubutan suka ce zai iya haɗa jahilci tare da shubuha na gaske. CLLM da suka gabatar a maimakon haka suna amfani da tarin adaftar LoRA don samar da abin da takarda ta kira saitin shaida. A cikin sharuddan aiki, an yi nufin hanyar don adana rashin jituwa ko yaduwa tsakanin rabe-raben tsinkaya mai ma'ana maimakon matsawa duk rashin tabbas cikin fitarwa mai laushi guda ɗaya. Majiyar ba ta da'awar cewa wannan wakilci ya sa samfurin daidai; yana iƙirarin cewa zai iya sa ƙimar ƙaddamarwar ƙirar ta zama ƙarin bayani.
Marubutan sun gabatar da matakai biyu masu alaƙa. Credal Token Commitment, ko CTC, yana aiki a cikin sararin alama kuma yana haɗa goyon bayan ƙananan ɗaure, faɗin ƙididdiga, da entropy intersection. Ƙididdigar ta ce CTC za a iya ƙididdige shi ba tare da ƙarin tsararraki ba, wanda ke da mahimmanci ga tsarin inda maimaita samfurin zai ƙara latency ko farashi. Daidaiton Alkawari na Semantic, ko SCC, yana ƙaddamar da ra'ayin zuwa sararin ma'ana ta amfani da samfurin kammalawa. Takardar ta kuma bayyana SCC-Gap don auna rashin daidaituwa tsakanin goyon bayan matakin token da goyon bayan matakin ma'ana. Ana gabatar da waɗannan ƙididdiga azaman kayan aiki don gano lokacin da amincewar matakin saman ƙirar ƙila ba zai daidaita da kewayon ma'anoni da aka bayyana ta yuwuwar amsoshinsa ba.
Ƙimar ta ƙunshi Gemma-2-9B, Llama-3.1-8B, da Qwen2.5-7B akan OpenBookQA, CoQA, TriviaQA, da ARC-Challenge. Bisa ga taƙaitaccen bayani, CLLM ita ce hanya mafi kyawun aiki akan daidaito-amsar tambaya yayin da ake ci gaba da yin gasa kuskuren daidaitawa. Marubutan kuma sun ba da rahoton cewa CTC yana zuwa a cikin maki 1.5 na mafi kyawun yankin gano a ƙarƙashin madaidaicin yanayin aiki mai karɓa a yawancin saitunan, ba tare da ƙarin tsara ba. A kan zaɓin tsinkaya a 80% ɗaukar hoto, abstract ɗin yana ba da rahoton daidaito 99.0% akan OpenBookQA don CLLM tare da SCC. Ya fara bayyana sakamakon ARC-Challenge na CLLM tare da amincewar Csem amma an yanke shi kafin ya ba da sakamakon, don haka ba za a iya tantance da'awar daga tushen da aka kawo ba.
Me ya sa yake da mahimmanci
Samfuran harshe na iya samar da ingantattun amsoshi tare da amincewa mara tushe. Idan sakamakon da aka ruwaito ya riƙe, auna rashin tabbas a cikin rarrabuwar hasashe da yawa na iya taimakawa tsarin gano amsoshin da ke buƙatar tabbaci, ƙauracewa, ko bitar ɗan adam ba tare da buƙatar ƙarin tsarawa a yawancin lokuta.
Batun aiki na tsakiya ba wai kawai ko samfurin harshe zai iya amsa tambaya ba, amma ko zai iya bambanta ilimi da rashin tabbas. Amsar da ta dace amma ba daidai ba na iya zama haɗari fiye da ƙiyayya a sarari lokacin da masu amfani suka ɗauki amincewa azaman shaida. Shawarar da aka gabatar da takardar shaidar wakilcin ta magance matsalar ta hanyar riƙe rashin jituwa a tsakanin tsinkayar adaftar. Idan hanyar ta zama gama gari, tana iya samar wa masu haɓaka siginar-gefen ƙira don yanke shawarar lokacin da za a amsa kai tsaye, buƙatar tabbatarwa, hanyar tambaya zuwa wani tsarin, ko haɗa da mutum.
Sakamakon zaɓe-hasashen da aka ruwaito ya fi dacewa da turawa saboda tsarin zaɓin baya buƙatar amsa kowace tambaya. Tsarin da zai iya kiyaye babban daidaito yayin rufe shari'o'in da ake ganin ya dace da tallafi na iya zama mafi amfani a saitunan da kurakurai ke ɗaukar farashi mai ma'ana. Daidaiton 99.0% da aka ruwaito a ɗaukar hoto na 80% akan OpenBookQA yana ƙarfafawa a cikin waccan saitin bayanai da daidaitawa, amma yakamata a fahimce shi azaman sakamakon takarda maimakon shaida cewa tsarin da aka tura zai cimma wannan aiki. Ƙirar ba ta ƙayyadadden adadin misalan, hanyoyin kwatanta, ko ma'anar ɗaukar hoto ba.
Da'awar babu-ƙarni don CTC kuma na iya zama mahimmanci don ƙira. Yawancin fasahohin rashin tabbas sun dogara ga samar da kammalawa da yawa, wanda zai iya ƙara ƙididdigewa da jinkirtawa. Majiyar ta ce CTC tana haɗa ƙididdiga masu alaƙa da rashin tabbas da yawa ba tare da ƙarin tsara ba, yayin da SCC ke amfani da samfuran da aka gama. Wannan bambance-bambancen yana ba takarda madaidaiciyar kusurwar injiniya: maki ɗaya na iya zama mai arha don amfani, yayin da ɗayan na iya ɗaukar saɓani na ma'ana kai tsaye. Ƙididdiga ba ta ƙididdige farashin ƙungiyar LoRA da kanta ba, duk da haka, don haka jimlar cinikin cinikin ba a sani ba.
Ingantacciyar hanyar sadarwa: Yadda A zahiri yake Aiki
Bincika fasahar da ke bayan wannan ci gaban ta hanyar mu'amala.
What is a common training objective for an autoregressive language model?
Abin kallo na gaba
Sakamakon a halin yanzu wani mawallafi ne da aka bayar da rahoton kimantawa na bugu, ba wani ingantaccen aiki mai zaman kansa ba. Babu cikakkun bayanai masu mahimmanci a cikin taƙaitaccen bayanin da aka kawo, gami da cikakken sakamakon ARC-Challenge, ainihin ƙa'idodin ƙididdiga, ƙididdigewa sama, da kuma yadda hanyar ke wucewa fiye da samfuran da aka gwada da saitin bayanai.
Tambaya ta farko ita ce ko nasarorin da aka ruwaito sun tsira da kwafi mai zaman kansa. Madogaran buguwa ce ta arXiv da aka ƙaddamar a ranar 24 ga Agusta, 2026, kuma kayan da aka kawo ya ƙunshi taƙaitaccen bayani kawai. Sakamakon da'awar da marubutan suka yi ne, ba wasu hujjojin da aka tabbatar da kansu ba. Binciken bi-bi-bi-bi-bi-bi-bi-bi-bi-bi-ya kamata ya bincika cikakkun teburi, tushe, ma'anoni na amincewa, bambancin ƙididdiga, da ko fa'idodin da aka ruwaito sun yi daidai a cikin dukkan ma'ajin bayanai huɗu da duk iyalai uku na ƙira.
Jumlar Kalubale ta ARC ba ta cika ba: ya ce CLLM tare da amincewar Csem ya sami sakamako amma baya bayar da ƙimar. Wannan ɓacewar bayanin yana iyakance kwatanta da cikakken da'awar OpenBookQA kuma yana hana cikakken kimanta aikin tunani na hanyar. Takardar ta kuma ba da rahoton sakamakon gano dangane da kasancewa tsakanin maki 1.5 na mafi kyawun AUROC a mafi yawan saituna, amma tushen da aka kawo baya gano cikakken makin, mafi kyawun hanyoyin gasa, ko keɓanta.
Tambayoyin turawa suna da mahimmanci daidai. Takardar tana amfani da tarin adaftar LoRA, kuma abstract ɗin ba ta faɗi adadin adaftar da ake buƙata ba, yadda ake horar da su, ko adadin ƙwaƙwalwar ajiya da lokacin ƙima da suke ƙarawa. Hakanan yana ƙididdige ƙirar harshe uku masu suna da jerin bayanan amsa tambayoyi huɗu. Har yanzu ba a sani ba ko maki yana aiki don tattaunawa mai tsawo, tsarar buɗe ido, abubuwan shigar da harsuna da yawa, takamaiman ayyuka na yanki, ko ƙirar waje da girman da aka gwada da kewayon gine-gine. Har sai an amsa waɗannan tambayoyin, CLLM ya fi dacewa a matsayin hanyar bincike mai ban sha'awa don auna rashin tabbas maimakon ingantacciyar kariya don amfani mai girma.