Ƙididdige ƙididdigewa na iya rage daidaiton fahimtar Bangla a cikin dangin LLM guda ɗaya, an gano saiti

Me ya faru

Wani sabon bugu na arXiv yana kimanta yadda ƙididdige horo bayan horo ya shafi fahimtar harshen Bangla a cikin manyan iyalai samfurin harshe uku. Marubutan sun kwatanta cikakken madaidaicin tsari da ƙididdiga nau'i uku a cikin ma'auni na fahimtar harshen Bangla guda biyar.

Takardar, wanda aka ƙaddamar zuwa arXiv a ranar 25 ga Agusta, yayi nazarin ƙididdige yawan horo bayan horo, hanyar da ake amfani da ita don rage ƙwaƙwalwar ajiyar da ake buƙata ta manyan nau'ikan harshe da saurin sauri. Marubutan sun tsara tambayar a kusa da Bangla, harshen da suka bayyana a matsayin hadadden tsarin halittar jiki da karancin albarkatu, suna jayayya cewa da yawa kafin fahimtar ƙididdigewa ya fito ne daga ma'aunin Ingilishi. Gudunmawar da aka bayyana ta binciken ita ce kwatancen tsarin ƙididdigewa don fahimtar harshen Bangla. A wasu kalmomi, an ƙirƙira binciken ne don kwatanta kimantawa irin-kamar-kamar ƙima yayin da ake canza wakilcin lambobi da aka yi amfani da su yayin ƙaddamarwa.

Ƙimar ta ƙunshi iyalai samfurin uku: Qwen-2.5-7B, LLAMA-3.1-8B da GPT-OSS-20B. Ana ƙididdige kowannensu da cikakken daidaito kuma a cikin ƙayyadaddun jeri uku da aka gano a cikin maƙasudin kamar GPTQ-Int8, GPTQ-Q8 da GGUF-W8A16. Gwaje-gwajen suna amfani da ƙimar sifili ta hanyar tsarin lm-evaluation-harness framework da tsawon maƙaloli biyar: Bangla MMLU, CommonsenseQA-BN, OpenBookQA-BN, PIQA-BN da BoolQ-BN. Majiyar ta ce takardar ta ƙunshi shafuka takwas, tebur ɗaya da ƙari ɗaya, amma bayanan da aka kawo ba ta haɗa da cikakken jadawalin sakamako ba. Wannan saitin yana ba da damar kwatancen su bincika halayen dangi-iyali da bambance-bambance tsakanin tsarin mai suna akan saitin ma'auni iri ɗaya.

Babban binciken da aka ruwaito shine cewa iyalai masu ƙira suna amsa daban-daban ga ƙididdigewa. GPT-OSS ya yi hasarar kusan kusan 57.35% daidaito akan ayyuka masu nauyi a karkashin GGUF-W8A16. Ƙididdigar ta ce Qwen da LLAMA sun tsaya tsayin daka a ƙarƙashin GPTQ, kuma waɗanda aka ƙididdige su sun zarce cikakken sakamako a cikin ƴan lokuta. BoolQ-BN, wanda aka kwatanta a matsayin aikin fahimta, ya tsaya tsayin daka a duk iyalai da tsari guda uku. Sakamakon haka shine tsarin sauye-sauye na ɗawainiya da tsari maimakon guda ɗaya na canji a cikin binciken.

Waɗannan iƙirari ne da aka riga aka rubuta; tushen ba ya ba da cikakkun bayanai a nan don ƙayyade ainihin ainihin asali, ainihin canje-canjen aiki-da-aiki ko ko mafi girman raguwa yana wakiltar dangi ko asarar kashi-kashi. Wannan yana iyakance yadda za'a iya fassara sakamakon lambobi daidai daga kayan da aka kawo shi kaɗai.

Bayanan tushe: arxiv.org ↗

Me ya sa yake da mahimmanci

Sakamakon ya nuna cewa rage sawun ƙwaƙwalwar ƙirar ƙirar AI baya haifar da tasiri iri ɗaya a cikin harsuna, gine-gine ko ayyuka. Ga ƙungiyoyin da ke tura ƙirar harshe akan ƙayyadaddun kayan aiki, ƙirar ƙira da zaɓin ƙididdigewa na iya zama mahimmanci gwargwadon faɗin ɗan ƙima.

Batun mai amfani shine yawanci ana ɗaukar ƙididdigewa da farko a matsayin yanke shawara mai inganci: yi amfani da ƴan ragi don rage amfani da ƙwaƙwalwar ajiya da yuwuwar ƙara saurin ƙididdigewa. Sakamakon da aka ba da rahoton wannan takarda ya nuna cewa, ga Bangla, ƙimar inganci na iya dogara ne akan hulɗar tsakanin ƙirar ƙirar ƙirar, hanyar ƙididdigewa da ɗawainiya. Zaɓin turawa wanda ya bayyana karɓuwa akan ma'auni ɗaya ko ƙirar iyali na iya haifar da sakamako na zahiri daban akan wani. Sakamakon haka yanke shawara yana da alaƙa da nauyin aikin da ake ba da sabis, ba kawai ga ma'ajin ajiya ko maƙasudin sauri ba.

Abubuwan da aka gano sun dace musamman ga aikace-aikacen tunani-nauyi, saboda mafi girman lalacewa da aka ruwaito yana faruwa a wannan ɓangaren kimantawa maimakon iri ɗaya a duk ɗawainiya. A lokaci guda, kwanciyar hankali na BoolQ-BN ya nuna dalilin da ya sa yanke shawara game da "ƙididdigewa" zai zama yaudara. Madogararsa ta gabatar da tsari mai gauraya: wasu haɗe-haɗe-haɗe-haɗe suna ƙasƙantar da kai, wasu sun tsaya tsayin daka wasu kuma rahotanni sun inganta kaɗan. Wannan yana sa takamaiman gwajin ma'auni ya fi mahimmanci fiye da dogaro da ɗan faɗin ni kaɗai. A zahiri, kyakkyawan sakamako akan yanki ɗaya na kimantawa ba zai tabbatar da wannan saiti a wani wuri ba.

Babban gudunmawar ita ce aunawa. Masu amfani da Bangla da masu haɓakawa na iya zama ba za a yi musu aiki da kyau ba ta hanyar ɗaukan sakamakon da aka samu daga kimantawar harshen Ingilishi kai tsaye. Takardar ba ta nuna cewa ƙididdigan ƙididdiga ba su dace da jigilar Bangla; Ƙarshensa ya fi kunkuntar kuma ya fi amfani: ƙididdigewa na iya aiki, amma gine-gine da tsarin ƙididdigewa yana buƙatar zaɓi tare da harshen da aka yi niyya da aiki a hankali. Wannan tsararru yana kiyaye tasirin takarda ya mai da hankali kan kimantawa da zaɓi maimakon a kan yanke hukunci game da rage daidaito.

Babu wata shaida a cikin tushen da aka kawo da ke tabbatar da tasiri akan masu amfani da samarwa, sakamakon aminci, ingancin fassarar, tsarin magana ko wasu aikace-aikace a wajen ma'auni biyar da aka jera. Waɗannan tambayoyin sun kasance a waje da abin da alamomin da aka kawo zasu iya amsawa.

Abin kallo na gaba

Makullin bin diddigin shine ko tsarin da aka ruwaito yana riƙe da ƙarin samfura, ayyukan Bangla da saitunan turawa. Madogararsa ta gano aikin azaman ƙaddamarwa na arXiv 1 kuma baya kafa bita na takwarorinsu, kwafi mai zaman kanta ko tasirin mai amfani na gaske.

Tambaya ta farko ita ce sake haihuwa. Marubutan sun bayyana aikin a matsayin kwatankwacin farko da aka sarrafa na tsarin ƙididdigewa akan fahimtar yaren yanayi na Bangla, amma rikodin arXiv da aka kawo bai bayyana ko akwai lamba, fayilolin ƙira, bayanan daidaitawa ko cikakkun abubuwan ƙima ba. Maimaituwa mai zaman kansa zai taimaka tantance ko mafi girman asarar 57.35% da aka ruwaito yana da ƙarfi ga zaɓin aiwatarwa da saitunan kimantawa. Bayanin da ke akwai don haka yana goyan bayan buƙatun kayan tarihi da sake kunnawa, maimakon ƙarshe game da ko za a iya sake fitar da sakamakon.

Tambaya ta biyu ita ce iyaka. Ƙididdigar ƙididdiga ba ta ba da adadin tambayoyin da ke cikin kowane ma'auni ba, tazarar amincewa, bambancin faɗakarwa ko maki na kowane ɗawainiya. Hakanan baya bayyana tsarin daidaitawa a bayan kowane ƙididdigan ƙididdiga, wanda zai iya shafar kwatance. Waɗancan tsallake-tsallake suna nufin iyakar da aka bayar da rahoton bai kamata a haɗa shi zuwa duk shari'ar amfani da Bangla ko kuma a bi da shi azaman hukunci na duniya na GGUF-W8A16. Mahallin da ya ɓace yana da mahimmanci saboda matsakaicin iyakar kwatancen da aka ruwaito bazai kwatanta sakamako na yau da kullun ba.

Ya kamata ƙarin aiki ya gwada ƙarin iyalai na ƙididdigewa, tsarin ƙididdigewa da ma'auni na Bangla, gami da ayyukan aiki masu amfani kamar tsarawa, umarni masu biyowa da martani mai tsayi idan masu binciken sun zaɓi yin nazarin su. Hakanan ya kamata a bincika ko riba ko asara ta ci gaba a cikin nau'ikan samfuri da kayan masarufi. Irin waɗannan abubuwan haɓakawa zasu fayyace ko taswirorin ma'auni na yanzu akan manyan abubuwan amfani masu haɓaka suna kulawa.

Madogarar ta bayyana wannan azaman sigar arXiv 1, wanda aka ƙaddamar a ranar 25 ga Agusta, kuma baya gano sake dubawar takwarorinsu ko ingantaccen waje. Har sai waɗannan cak ɗin sun wanzu, an fi karanta takarda a matsayin kimantawa mai da hankali wanda ke haifar da damuwa, ba a matsayin tabbataccen matsayi na ƙididdige ƙididdige samfuran Bangla ba. Wannan matsayi ya kamata ya kasance wani ɓangare na yadda ake fassara sakamakon yayin da tushen shaida ke tasowa.

Jagorori masu alaƙa & tambayoyin tambayoyi