Maxaa dhacay
Daabacaad cusub oo arXiv ah ayaa qiimaysa sida tirada tababarka ka dib ay u saamayso fahamka luqadda Bangla ee saddexda qoys ee mooda luqadda waaweyn. Qorayaashu waxay isbarbardhigaan sax-buuxa iyo saddex qaab oo la qiyaasi karo oo dhan shanta hab ee fahamka luuqadda dabiiciga ah ee Bangla.
Warqadda, oo loo gudbiyay arXiv Agoosto 25, waxay eegaysaa qiyaasta tababarka ka dib, habka loo isticmaalo si loo yareeyo xusuusta looga baahan yahay noocyada luqadaha waaweyn iyo xawaaraha xawaaraha. Qorayaashu waxay su'aasha ku cabbirayaan Bangla, oo ah luqad ay ku sifeeyeen qaab-dhismeed ahaan kakan iyo kheyraad hoose, iyagoo ku doodaya in wax badan oo hore loo fahmay tiro-ururinta ay ka timaaddo cabbirrada Ingiriisiga. Wax ku darsiga daraasadda lagu sheegay waa isbarbardhigga la xakameeyey ee qaababka qiyaasidda ee fahamka luqadda dabiiciga ah ee Bangla. Si kale haddii loo dhigo, daraasadda waxaa loo qaabeeyey in la isbarbardhigo qiimaynaha moodeelka oo u eg iyadoo la beddelayo matalaadda tirooyinka ee la isticmaalay inta lagu gudajiro fikradda.
Qiimayntu waxa ay dabooshaa saddex nooc oo qoys: Qwen-2.5-7B, LLAMA-3.1-8B iyo GPT-OSS-20B. Mid kasta waxaa lagu qiimeeyaa si buuxda oo sax ah iyo saddex qaabeyn oo la tiriyey oo lagu aqoonsaday la taaban karo sida GPTQ-Int8, GPTQ-Q8 iyo GGUF-W8A16. Tijaabooyinku waxay isticmaalaan qiimaynta eber-shot iyada oo loo marayo qaab-dhismeedka lm-evaluation-harness waxayna dhererayaan shan bartilmaameed: Bangla MMLU, CommonsenseQA-BN, OpenBookQA-BN, PIQA-BN iyo BoolQ-BN. Isha ayaa sheegaysa in warqaddu ka kooban tahay siddeed bog, hal miis iyo hal lifaaq, laakiin diiwaanka la keenay kuma jiro shaxda natiijada oo faahfaahsan. Habayntan ayaa u ogolaanaysa isbarbardhigga in uu baaro hab-dhaqanka qoyska-qaabka iyo kala duwanaanshaha qaababka la magacaabay marka loo eego isla jaangooyooyinka la sheegay.
Natiijooyinka ugu weyn ee la soo sheegay ayaa ah in qoysaska moodada ah ay si kala duwan uga jawaabaan tirooyinka. GPT-OSS waxay lumisay in ka badan 57.35% saxnaanta hawlo culus oo sababaynta ee hoos timaada GGUF-W8A16. Nuqulku wuxuu leeyahay Qwen iyo LLAMA waxay ku sii nagaadeen GPTQ, iyo in noocyada la qiyaasey ay dhaafeen natiijooyin sax ah dhowr xaaladood. BoolQ-BN, oo lagu tilmaamay hawl faham, ayaa ku xasiloon dhammaan saddexda nooc ee qoys iyo qaabab. Sidaa darteed natiijadu waa qaab hawleed iyo isbeddelo qaabaysan halkii ay ka ahaan lahayd hal jiho oo isbeddel ah oo daraasadda oo dhan ah.
Kuwani waa sheegashooyin uu sameeyay daabacaadda hore; Isha kuma bixinayso tafaasiil ku filan halkan si loo go'aamiyo saxsanaanta asaasiga ah, isbeddelka hawsha saxda ah ee hawshu ama haddii hoos u dhaca ugu weyn uu u taagan yahay qaraabo ama boqolkiiba-dhibcood. Taasi waxay xaddidaysaa sida saxda ah ee natiijada tirooyinka loogu tarjumi karo walxaha la keenay oo keliya.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Natiijooyinku waxay soo jeedinayaan in yaraynta sawirka xusuusta ee qaabka AI aysan soo saarin saameyn isku mid ah oo ku saabsan luqadaha, naqshadaha ama hawlaha. Ururada geynaya moodooyinka luqadda qalabka xaddidan, moodeelka iyo xulashooyinka qiyaasidda ayaa laga yaabaa inay muhiim u tahay inta ballaca magaca ah.
Arrinka la taaban karo ayaa ah in qiyaasidda inta badan loo tixgeliyo go'aan wax ku ool ah: isticmaal xoogaa yar si aad u yareyso isticmaalka xusuusta oo ay suurtagal tahay in ay kordhiso xawaaraha fikradda. Natiijooyinka warbixintan ee warqadan waxay muujinayaan in Bangla, qiimaha tayada ay ku xirnaan karto isdhexgalka qaab dhismeedka qaab-dhismeedka, habka qiyaasidda iyo hawsha. Doorashada geynta ee u muuqata mid la aqbali karo halbeeg ama qoys moodal ah ayaa mid kale ku soo saari kara natiijo maadi ah oo ka duwan. Go'aanku wuxuu sidaas darteed ku xidhan yahay culayska shaqada ee loo adeegayo, maaha kaliya kaydinta ama bartilmaameedka xawaaraha.
Natiijadu waxay si gaar ah u khusaysaa codsiyo caqli-gal ah oo culus, sababtoo ah hoos u dhaca ugu weyn ee la soo sheegay waxay ku dhacdaa qaybtaas qiimaynta halkii ay ka ahaan lahayd mid isku mid ah dhammaan hawlaha. Isla mar ahaantaana, xasiloonida BoolQ-BN waxay muujineysaa sababta gabagabada ballaaran ee ku saabsan "tiro-ururinta" ay tahay mid marin habaabin ah. Isha ayaa soo bandhigaysa qaab isku dhafan: isku darka qaabka moodeelka qaar ayaa hoos u dhigaya, qaar ayaa xasiloon qaarna la soo sheegayo in ay soo hagaageen. Taasi waxay ka dhigaysaa tijaabada gaarka ah ee bartilmaameedka ka muhiimsan ku tiirsanaanta balac yar oo keliya. Marka la eego waaqica la taaban karo, natiija wanaagsan oo laga helo hal jeex oo qiimayntu keligeed ma xaqiijinayso isla goobta meel kale.
Wax ku biirinta ballaadhan waa cabbirka. Isticmaalayaasha Bangla iyo horumariyeyaal waxaa laga yaabaa inaan si wanaagsan loogu adeegin iyadoo loo malaynayo in natiijooyinka qiimaynta Ingiriisiga si toos ah loogu wareejinayo. Warqaddu ma muujinayso in moodooyinka la qiyaasey aysan ku habooneyn geynta Bangla; gunaanadkeedu waa ka sii yar yahay oo waa ka faa'iido badan yahay: qiyaasiddu way shaqayn kartaa, laakiin qaab-dhismeedka iyo qaab-dhismeedku waxay u baahan yihiin in la doorto luqadda la beegsanayo iyo hawsha maskaxda lagu hayo. Qaabayntaasi waxay ku ilaalinaysaa saamaynta warqaddu inay diiradda saarto qiimaynta iyo xulashada halkii ay ka ahaan lahayd xukun buste ah oo ku saabsan saxnaanta la dhimay.
Ma jiraan wax caddayn ah oo ku jira isha la keenay oo dejinaya saamaynta isticmaalayaasha wax soo saarka, natiijooyinka badbaadada, tayada tarjumaada, hababka hadalka ama codsiyada kale ee ka baxsan shanta qodob ee liiska. Su'aalahaas ayaa ah kuwa ka baxsan waxa bartilmaameedyada la keenay ay ka jawaabi karaan.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Dabagalka muhiimka ah ayaa ah bal in qaabka la soo sheegay uu hayo noocyo badan, hawlaha Bangla iyo goobaha geynta. Isha ayaa shaqada u aqoonsata sida arXiv nooca 1 soo gudbinta mana dejiso dib u eegis facooda, ku celcelin madax banaan ama saamaynta isticmaale aduunka dhabta ah.
Su'aasha ugu horeysa waa soo saarista. Qorayaashu waxay ku sifeeyeen shaqada inay tahay isbarbardhigga ugu horreeya ee la xakameeyey ee qaababka qiyaasidda ee fahamka luqadda dabiiciga ah ee Bangla, laakiin diiwaanka arXiv ee la keenay ma sheegayo in koodka, feylasha moodeelka, xogta cabbirka ama qiimaynta buuxda la heli karo. Dib-u-eegis madax-bannaan ayaa kaa caawin doonta in la go'aamiyo in 57.35% khasaaraha ugu badan ee la soo sheegay uu ku adag yahay doorashooyinka fulinta iyo goobaha qiimaynta. Sharaxaada la heli karo ayaa markaa taageerta codsiga farshaxanimada iyo dib u socodsiinta, halkii ay ka ahaan lahayd gabagabo ku saabsan in natiijada dib loo soo saari karo iyo in kale.
Su'aasha labaad waa baaxadda. Qoraalku ma siinayo tirada su'aalaha ee bartilmaameed kasta, muddada kalsoonida, kala duwanaanshaha dardargelinta ama buundooyinka hawl kasta. Sidoo kale ma sharaxdo nidaamka is-habaynta ee ka dambeeya nooc kasta oo la tiriyo, kaas oo saamayn kara isbarbardhigga. Maqnaanshahaas macnaheedu waa in ugu badnaan la soo sheegay aan lagu soo koobin dhammaan kiisaska isticmaalka Bangla ama loola dhaqmo sidii ciqaab caalami ah GGUF-W8A16. Macnaha maqan waa muhiim sababtoo ah ugu badnaan isbarbardhigga la soo sheegay ma qeexi karo natiijada caadiga ah.
Shaqada dheeraadka ah waa in ay tijaabiso qoysaska moodada badan, qorshayaasha xisaabinta iyo bartilmaameedyada Bangla, oo ay ku jiraan culeysyada shaqada ee la taaban karo sida jiilka, tilmaamaha soo socda iyo jawaabaha qaab-dheer haddii cilmi-baarayaashu ay doortaan in ay daraaseeyaan. Waa inay sidoo kale eegtaa haddii faa'iidooyinka ama khasaaruhu ay sii jiraan dhammaan noocyada moodeelka iyo qalabka. Kordhinta noocan oo kale ah waxay caddaynaysaa in khariidadaha qaabka bartilmaameedka ee hadda jira ee adeegsadaha ballaadhan ay danaynayaan.
Isha ayaa tilmaanta tan arXiv nooca 1, oo la gudbiyay Agoosto 25, mana tilmaamayso dib u eegista asxaabta ama ansixinta dibadeed. Ilaa laga helayo jeegagaas, warqadda waxa sida ugu fiican loo akhriyaa sidii qiimayn diirada la saaray oo kor u qaadaysa walaaca la daadgureynta, ee maaha sida qiimayn sugan oo lagu qiyaaso moodooyinka awooda Bangla. Heerkaas waa inuu ahaadaa qayb ka mid ah sida natiijada loo fasiro inta saldhigga caddayntu horumarayo.