Lu xew
Benn arXiv bi ñu njëkka imprime dafa dugal MoPLEx, muy buy yokk li ñuy seentu ngir jàng njaxasu xeetu Plackett-Luce ci tontu yu bari ci rang yi. Xeetu liggéey bi dañu ko tëral ngir méngale IA ak gëna xéewale tànneef, fu annotatër yi mënatul bokk benn profil tànneef bu méngoo.
Këyit dafay jàngat ni ñuy jàngee njaxasu k xeetu Plackett-Luce ci rang yu bari yu annotateur yi joxe. Ci anam wu gëna woyof, anam wi dafay xalaat ni tontub rang yi mën nañu bawoo ci grupu taamu yu bari te baña bawoo ci benn askan bu am benn yoon buñ bokk. Auteur yi dañu jàpp ni loolu dafa am solo ci wàllu IA ak gëna xéewale tànneef yi, fu ñuy faral di jëfandikoo àtte nit ñi ngir teg doxalinu xeetu làkk yi. Kadre bii dafay bàyyi xelam ci ni ñuy amalee ak tekki rang yiñ seetlu, moo gën ñuy xalaat ni ñàkka deggoo ci saasi njuumte la ci done yi.
Auteur yi dañu wane ni amna ay jafe-jafe ci wàllu theorie ci liggéey bi ñu njëkka def ci njaxasu xeetu Bradley-Terry yu sukkandikoo ci méngale ñaar-ñaar. Dañu wax ni xeetu njaxas yi duñu mëna xàmmee ci theorie sudee k dafa ëpp m/2, muy m mooy guddaayu rang bi. Source bi firndewul ni wàññi gii dafay am njeexital ci bépp sistem bu am tànneef-optimisation; dafay wane anam wi muy jafe-jafe biy waral ñu jëfandikoo njuréef yiñ laaj. Taxawaay boobu amna solo ndax tënk biñ wax moo waral ñu jël benn xeetu model te du, ci boppam, leeral doxalinu yeneen sistem wala done yépp.
MoPLEx dafay jëfandikoo ñaari jéego yu mag. Bi ci njëkk mooy yokk rang yi fi nekk ba ci dayo bu gëna mag ci defar tontu yu bees yu bawoo ci xeetu làkk wi ñuy jëfandikoo. Ñaareel ba mooy jëfandikoo xayma bu sukkandiko ci gradient ci barabu dugal ngir wàññi njëgu inference bi. Xayma yi ciy génn dañu leen boole ci anam wu ñuy xaar ngir mëna méngale njaxasu xeetu Plackett-Luce. Auteur yi dañu wax ni approximation bi lalu ci gradient bi dafa xayma probabilite yu dëggu yi ak njuumte yu néew 5% ci model yu am ba 34 milyaar ci parametre, waaye source bi leeralul tabb experimentaal bi yépp wala bariwaayu liggéey yi ñu jëfandikoo ci test boobu. Jéego yooyu yépp dañuy fësal ni liggéey bi di doxee, dalee ko ci done yuñ yaatal ci xayma probabilite ak jaxase buñ méngale.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Liggéey bi dafay wax ci ay gàttal ci modeling preference: pexe yiy xalaat benn motif preference mën nañu nëbb ñàkka deggoo bu am solo ci diggante annotateur yi. Sudee li ñu xamle ci resultaa yi dafa weesu jàngat yi ci këyit bi, modeling tànneef yu wuute mën na jàppale developpeur yi ñu gëna xam done yu gëna dëggu te wàññi risku jëfandikoo ñàkka deggoo ni bruit.
Li gëna am solo mooy done yiñ taamu mën nañu am ñàkka deggoo buñ yamale. Benn xeetu rang mën na tënk àtte yu wuute ci benn siñaal bu yam, fekk xeetu jaxaso dafay jéema tàqale motif yi. Ci wàllu liggéeyum alignment, wuute gi mën na am solo sudee annotateur yi wuute nañu ndax dañu jox solo mébet yu wuute, tekki tegtal yu wuute, wala ñuy representé xeetu jëfandikukat yu wuute. Këyit dafay wane MoPLEx ni anam ngir natt wuute yooyu ci rang yu bari. Taxawaay bi amna solo ndax xeetu ñàkka deggoo bi mën na indi jafe-jafe ci ni ñuy xamee siñaalu yoon wi.
Sunu sukkandikoo ci abstract bi, jàngat yi ñu def ci done yiñ taamu-optimisation dañu wane ni MoPLEx dafa yokk njubte gi ci 43.7% ak njubte ci rang ci lu tollu ci 15.2% ci kaw baseline yi ñu jëfandikoo benn xeetu rang ak njaxasu xeetu Bradley-Terry. Loolu ay wax lañu yu bindkat yi wax, duñu ay resultaa yuñ defar seen bopp. Source bi joxeewul tur yi njëkk, dayo done yi, diggante wóolu yi, wala njariñu done bu nekk ngir àtte ni moyenne yi di méngoo wala di dëgër ci wàllu lim. Kon li ñuy xamle ci moyenne yi dañuy wane yoon wi ak dayo bi bindkat yi gis, ci noonu lañuy bàyyi ay leeral yu am solo ngir gëna jàngat.
Valeur pratique bi mingi aju ci ndax recuperation bu gëna baax ci grupu yiñ taamu dafay yóbbe model bu gëna baax ci jëfandikoo gi. Clustering bu gëna rëy wala njub ci rang ci boppam du firnde ni sistem IA moo gëna wóor, gëna jub, wala gëna méngoo ak jëfandikukat yi. Source bi itam waxul ci njariñu nit ñi, génne yi ci liggéey bi, wàññi gi ci jeffin ju bonn ji, wala méngale ko ak yeneen xeeti njàngale yu bees yu taamu. Kon li muy jàppale ci anam wu njëkk la: dafay tàmbale anam wu gëna fës ngir jàngat siñaali yoon wi, ba noppi di xamle njariñu jàngat bu njëkk bi. Limitation yooyu dañuy tëye solo liggéey bi ci jàngat biñ taamu, moo gën ñu koy yokk ci jëfandikoo bu gëna yaatu wala conclusion de sécurité.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Li nga wara seetaan ci topp
Laaj yi gëna am solo ñooy ndax MoPLEx dafay yamale lu weesu done yiñ siiwal, ba ñaata xaalis lay yokk ci rang yi, ak ndax nuru gradient bi proxy bu wóor la ci tànneefi annotateur yi. Këyit bi ab preprint la buñu nara feeñ ci EMNLP 2026, kon ay waxtaanam ñu ngi des ci saytu bu gëna yaatu ak ñu koy toppandoo.
Baamtu dafa wara wane ndax yokkute yiñ wax ñu ngi wéy ci guddaayi rang yu wuute, limu kuréel yiñ taamu, askanu annotatër yi, ak famiy modelu làkk yi. Résumé bi dafay wax ci jàngat yiñ def ci ensemble done yiñ taamu-optimisation waaye du leen xàmmee wala leeral ni ñuy representé. Resultaa yi mën nañu wuute lool lepp di aju ci ni tànneef yi wuutee ak ni tontu yiñ defar di méngoo ak liggéey bi njëkk. Baamtu bu ni mel dina tax ñu xam ndax motif biñ rapoorte dafa dëgër ci anam yi ñu nara defee.
Jéego biy yokk rang bi dafa yelloo ñu xoolaat ko bu baax. MoPLEx dafay defar yeneen tontu yu bawoo ci xeetu làkk wiñ njëkka xayma balaa muy xayma njaxas mi. Loolu moo jur dependence bu mëna am ci kàttanu modelu base bi, ay njuumte, ak séddale tontu. Source bi waxul ni anam wi di doxee ci tànneef yooyu, ndax tontu yiñ defar mën nañu yàq kuréel yiñ taamu, wala ba ñaata dogal lañu soxla ci jekkal yu dëggu yi. Loolu dafay tax lëkkaloo gi am ci digganté yeneen pexe yuñ defar ak kuréel yiñ jëlee nekk lu am solo ci jàngat doxalinu njubluwaay bi.
Beneen liggéey dafa wara leeral njëgu ordinatër yi ak àppu jàngat yi. Këyit dafa wax lu néew 5% ci njuumte ci xayma yi lalu ci gradient ci model yu yegg ba 34 milyaar ci parametre, waaye resultaa boobu taxul ñu am performance bu méngoo ak model yu gëna mag wala ci tàggat jëmmal ci njeexte. Source bi itam leeralul jafe-jafe yi, xayma yu wóorul, kaaraange privacy ngir done annotateur, wala ni developpeur yi wara doxalee sudee grupu tànneef yi dañuy xëccoo. Jox nañu këyit bi arXiv ci 25 ut 2026, ñu lim ko ni dina ñëw ci EMNLP 2026; xoolaat seeni jàppante ak am doom moom seen bopp nekk nañu ay mbir yu am solo yuñu xamul. Laajte yu ubbeeku yooyu dañuy fësal bërëb bi des ci diggante njuréef yiñ wax ak wóolu jëfandikoo gi ci anam wu gëna yaatu.