Me ya faru
Fitilar arXiv tana gabatar da MoPLEx, na tsammanin-mafi girma don koyan gaurayawan samfuran Plackett-Luce daga martanin matsayi masu yawa. An tsara tsarin don daidaita AI da fifikon fifiko, inda masu sharhi ba za su iya raba daidaitaccen bayanin martaba ɗaya ba.
Takardar ta yi nazarin yadda ake koyan cakuda samfuran k Plackett-Luce daga ƙididdiga masu yawa waɗanda masu sharhi ke bayarwa. A zahiri, hanyar tana ɗaukar cewa martanin martaba na iya zuwa daga ƙungiyoyin fifiko da yawa maimakon daga jama'a ɗaya tare da oda ɗaya. Marubutan sun tsara wannan a matsayin dacewa ga daidaitawar AI da haɓaka fifiko, inda galibi ana amfani da hukunce-hukuncen ɗan adam don jagorantar halayen ƙirar harshe. Wannan tsararru yana kiyaye mayar da hankali kan yadda aka tsara matakan da aka lura da kuma fassara, maimakon ɗauka cewa rashin jituwa kuskure ne ta atomatik a cikin bayanan.
Marubutan sun gano ƙayyadaddun ƙa'idodi a cikin aikin da suka gabata kan cakuda samfuran Bradley-Terry dangane da kwatance biyu. Suna bayyana cewa samfuran cakuda sun zama ba za a iya gane su ba lokacin da k ya fi m/2, inda m shine tsayin matsayi. Madogararsa ba ta tabbatar da cewa wannan iyakancewar yana shafar kowane tsarin ingantaccen zaɓi na yanzu ba; yana gabatar da yanayin a matsayin matsala mai motsa hanyar da aka tsara. Wannan bambance-bambancen yana da mahimmanci saboda iyakancewar da aka bayyana yana motsa tsarin ƙira ba tare da, ita kaɗai ba, yana kwatanta halayen duk wasu tsarin ko saitin bayanai.
MoPLEx yana amfani da manyan matakai guda biyu. Na farko, yana ƙara darajar data kasance zuwa girma mafi girma ta hanyar samar da sabbin amsoshi daga ƙirar tushe. Na biyu, yana aiwatar da ƙididdige ƙimayar gradient a cikin shigar da sarari don rage farashin ƙima. Ƙididdigan da aka samo an haɗa su cikin tsarin da ake tsammanin-mafi girma don dacewa da cakuda samfuran Plackett-Luce. Marubutan sun ba da rahoton cewa wannan ƙima na tushen gradient ya ƙididdige yuwuwar gaskiya tare da kasa da 5% kuskure akan ƙira tare da sigogi har zuwa biliyan 34, amma tushen bai fayyace cikakken saitin gwaji ko kewayon ayyukan da aka yi amfani da su don gwajin ba. Tare, waɗannan matakan suna bayyana tsarin aikin da aka tsara daga faɗaɗa bayanan martaba ta hanyar ƙididdige yiwuwar yuwuwar da daidaitawa.
Me ya sa yake da mahimmanci
Aikin yana magance ƙayyadaddun ƙirar ƙira: hanyoyin da suke ɗaukar tsarin fifiko ɗaya na iya ɓoye rashin jituwa mai ma'ana tsakanin masu sharhi. Idan sakamakon da aka ruwaito ya wuce gwaje-gwajen takarda, yin ƙirar abubuwan zaɓi iri-iri na iya taimakawa masu haɓaka fahimtar bayanan jeri daidai da rage haɗarin ɗaukar rashin jituwa azaman hayaniya.
Mahimmanci na tsakiya shine bayanan zaɓi na iya ƙunsar tsayayyen sabani. Samfurin matsayi ɗaya na iya damfara hukunce-hukunce daban-daban zuwa matsakaicin sigina ɗaya, yayin da samfurin cakuda ke ƙoƙarin raba tsarin. Don aikin daidaitawa, wannan bambance-bambancen na iya zama mahimmanci lokacin da masu sharhi suka bambanta saboda suna darajar maƙasudai daban-daban, suna fassara umarni daban, ko wakiltar yawan masu amfani daban-daban. Takardar ta gabatar da MoPLEx a matsayin hanyar da za a auna waɗannan bambance-bambance ta hanyar matsayi mai yawa. Bambance-bambancen yana da mahimmanci saboda nau'in rashin jituwa na iya shafar yadda aka fahimci siginar daidaitawa.
Dangane da taƙaitaccen bayanin, gwaje-gwaje akan fitattun bayanai na haɓakawa sun gano cewa MoPLEx ya inganta daidaiton tari da matsakaita na 43.7% da daidaiton matsayi ta matsakaicin 15.2% akan madogararsa ta amfani da ƙira ɗaya da gaurayawan samfuran Bradley-Terry. Waɗannan iƙirari ne da mawallafin rubutun suka yi, ba sakamakon da aka kafa ba. Tushen ba ya samar da sunaye na asali, girman saitin bayanai, tazarar amincewa, ko kowane sakamakon saitin bayanai da ake buƙata don yin hukunci daidai ko ƙaƙƙarfan ƙididdiga. Matsakaicin da aka ruwaito don haka suna nuna jagora da girman binciken marubutan, yayin da suke barin mahimman bayanai don ƙarin kimantawa.
Ƙimar aiki za ta dogara ne akan ko ingantaccen farfadowa na ƙungiyoyin da aka zaɓa yana haifar da ingantacciyar dabi'ar ƙira a cikin turawa. Babban tari ko daidaiton matsayi ba ita kanta shaida ba ce cewa tsarin AI ya fi aminci, adalci, ko kuma ya fi dacewa da masu amfani. Har ila yau tushen ba ya bayar da rahoton sakamakon ɗan adam, ƙaddamar da samarwa, raguwa a cikin halaye masu cutarwa, ko kwatancen sauran hanyoyin koyo na zamani. Gudunmawarta don haka da farko ta hanya ce: tana ba da shawara mafi bayyananniyar hanya don nazarin siginonin daidaitawa da bayar da rahoton nasarorin gwaji na farko. Waɗancan iyakoki suna riƙe mahimmancin aikin daura da bincike na zaɓi maimakon faɗaɗa shi zuwa mafi girman ƙaddamarwa ko ƙarewar aminci.
Ingantacciyar hanyar sadarwa: Yadda A zahiri yake Aiki
Bincika fasahar da ke bayan wannan ci gaban ta hanyar mu'amala.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Abin kallo na gaba
Babban tambayoyin shine ko MoPLEx ya haɓaka sama da bayanan da aka bayar da rahoton, nawa ƙididdigewa sama da haɓaka ƙimar sa, da kuma ko kamanceceniya amintaccen wakili ne don zaɓin annotator. Takardar riga-kafi ce da aka tsara za ta bayyana a EMNLP 2026, don haka da'awarta ta kasance ƙarƙashin babban bincike da maimaitawa.
Ya kamata maimaitawa ta tabbatar da ko ci gaban da aka ruwaito ya ci gaba da wanzuwa a tsayin matsayi daban-daban, lambobi na ƙungiyoyin fifiko, yawan masu ba da labari, da iyalai-samfurin harshe. Abstract ɗin yana ba da rahoton gwaje-gwajen da aka yi akan fitattun bayanai na ingantawa amma baya bayyana su ko bayyana yadda suke wakilci. Sakamako na iya bambanta sosai dangane da yadda abubuwan da aka zaɓa suke da kuma yadda daidaitattun martanin da aka samar ke nuna ainihin aikin. Irin wannan kwafin zai taimaka wajen tantance ko tsarin da aka ruwaito ya tabbata a duk yanayin da ya dace da hanyar da aka tsara.
Matakin haɓaka-daraja ya cancanci a bincika kusa. MoPLEx yana haifar da ƙarin martani daga ƙirar harshe na tushe kafin ƙididdige cakuda. Wannan yana haifar da yuwuwar dogaro akan iyawar ƙirar tushe, son zuciya, da rarraba martani. Majiyar ba ta faɗi yadda hanyar ke da mahimmanci ga waɗannan zaɓin ba, ko amsawar da aka samar na iya karkatar da ƙungiyoyin da aka fi so, ko nawa ake buƙatar ƙarin bayani a cikin saitunan gaskiya. Wannan ya sa dangantakar da ke tsakanin hanyoyin da aka samar da kuma ƙungiyoyin da aka zayyana su zama muhimmin sashi na kimanta halayen halayen hanyar.
Ya kamata ƙarin aiki ya fayyace ƙimar ƙididdiga da iyakokin ƙima. Takardar ta ba da rahoton kuskuren kasa da 5% don ƙididdige ƙididdigar yiwuwar tushen gradient akan samfura har zuwa sigogi biliyan 34, amma wannan sakamakon bai kafa kwatankwacin aiki don manyan samfura ko horon jeri-zuwa-ƙarshe ba. Har ila yau, tushen ba ya bayyana shari'o'in gazawa, ƙididdigar rashin tabbas, tsare-tsaren sirri don bayanan mai ba da labari, ko yadda masu haɓakawa za su yi aiki lokacin da ƙungiyoyin da aka zaɓa suka yi rikici. An ƙaddamar da takardar zuwa arXiv a kan Agusta 25, 2026, kuma an jera shi a matsayin mai zuwa a EMNLP 2026; nazari na tsara da kuma haifuwa masu zaman kansu sun kasance muhimman abubuwan da ba a sani ba. Waɗannan buɗaɗɗen tambayoyin suna bayyana ragowar rata tsakanin hanyar da aka ruwaito da amincewa game da fa'idar amfani da shi.