Lu xew
Gëstukat yi jàngat nañu 53 xeeti làkk yu mag ci 11 done yuñ xaaj ñeenti kategori kaaraange. Natt nañu ay xeetu jekkal ci jekkal yu gaaw rek ak jekkal yu tontu ci lu gaaw, di xool ni sistem yu bari yi ak yu yam yi di doxalee ci xeetu ëmbiit yu bari yu mëna lore.
Këyit bi, tuddee ko "Amul benn model buy jàpp bépp loraange: Benchmarking ëmbiit li ci senaario kaaraange," ñu jox ko arXiv ci Aug. 22, 2026. Bindkat yi dañu leeral jàngat bu sistemik bu 53 model yu ñu tànn ci 11 done yu ñuy amal senaario yi. Source bi dafay wane liggéey bi ni jàngat ci kàttanu kaaraange model lakk, te du ni genne model bu bees wala produit moderation.
Evaluation bi dafay jëfandikoo ñaari jekkal: test yu gaaw rek ak test yu tontu ci gaaw. Source bi leeralul wuute gi am ci liggéey bi ci diggante jekkal yooyu ci anam wu leer, waaye wuute gi dafay wane ni jàngat bi dafay jàngat modelu jeffin ci tontu ci laaj yi jëm ci kaaraange ak kalite moderation wala àtte suñu jàppee ab laaj ak ab tontu buñ defar ñoom ñaar. Abstract bi dafay tënk risk yiñ natt ci anam wu yaatu, di wax ci jailbreak yiy romb ay filtre kaaraange ak bañeel bu nëbbu bu mëna moytu ñu gis ko.
Auteur yi dañu joxe ñatti resultaa yu am solo. Bi ci njëkk mooy xeetu frontiere yu mag yi jiitu ci benn kategori mën nañu daanu bu baax ci ginaaw alternatif yu ndaw yi ci yeneen yi. Ñaareel ba mooy amul benn model buy jàpp bépp xeetu ëmbiit bu mëna lore. Ñatteel ba mooy bindkat yi dañu wax ni kaaraange waxtaan ci àdduna dëgg des na lu bari luñu xamul ci famiy model yi. Abstract bi dafa wax ni jàngat bi moo gëna mat sëkk ba leegi, waaye màndarga gi mooy li bindkat yi wax; source bi joxeewul ay méngale ak bépp bu njëkk wala ay detay yu doy ci njuréef ngir mëna ko xool ci boppam ci bind biñ joxe.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Këyit dafa weddi xalaat biy wax ni xeetu frontiere yu gëna mag wala yu gëna am kàttan ñooy gëna wóor ci saasi. Li gëna am solo ci liñu gis mooy ni model bi jiitu ci benn kategori mën na def lu gëna bon yeneen yi gëna ndaw, yu yam ci beneen kategori, loolu mooy tax jëfandikoo kaaraange nekk jafe-jafe tànneef model ak jëmmal sistem.
Li muy tekki ci jëfandikoo gi mooy kaaraange mënul juddoo ci réputation général bu model bi, dayo bi, wala performance ci benn test. Mbootaay buy tànn benn couche de moderation mën na soxla méngale sistem yi ak risk yiñ tànn, jëfandikoo composant yu bari yuñ jagleel, wala yokk ci xoolaat nit ñi ak yeneen seytu. Coppite bi këyit bi wax ci kategori yi dafay tekki ni benn poñ ci boppu mën na nëbb ay njuumte yu am solo ci yenn xeetu ëmbiit yu bon.
Li ñu ci gis amna solo itam ci ni ñuy tekkee jàngat yi ci kaaraange IA. Sudee jekkal tontu yu gaaw kese ak tontu yu gaaw dañu defar ay resultaa yu wuute, kon xeetu tontu bu nuru lu wóor ci biir test bu gaaw bu gàtt mën na doxalee ci anam wu wuute su wara xool tontu buñ defar dëgg. Ki ñu joxe xibaar bi joxeewul poñ yi wala joxe leeral ci ni ñu defaree test bi, kon mënu ñu xam fu wuute yooyu tolluwoon. Ba leegi, jëmmal jàngat bi dafay jàppee muy jàngat muy lu am solo, du xalaat ni benn formaa test dafay màndargaal bépp anam bu ñuy jëfandikoo.
Ci mbooloo mi, jafe-jafe bi dafa am solo ndax dañuy gëna jëfandikoo xeetu làkk yi ci sistem yiy defar, segg wala rang ëmbiit li. Ku ñàkka gis mbañeel gu nëbbu, jailbreak bu baax, wala tontub waxtaan bu wóorul mën na indi jafe-jafe ci jëfandikukat yi doonte sistem bi dafay def lu baax ci yeneen kategori kaaraange. Këyit dafa bindul benn mbiri àdduna bu dëggu wala xayma limu mëna lore ci jëfandikukat yi, te firndewul ni benn model buñ jàngat amul kaaraange ci bépp jëfandikoo. Lu moy loolu, limu ci jàppale mooy ñu baña jàppee njiit lu am solo ni firnde ci aar bu mat sëkk.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
Which component of an AI application is the machine-learning model itself?
Li nga wara seetaan ci topp
Source bi xamul model yi, ensemble done yi, kategori yi, poñ yi, laaj yi, wala tolluwaayu génne gi ngir jumtukaayi jàngat yi. Liggéey bi ci topp dafa wara saytu ndax bërëb yiñ xamle ñu ngi wéy ci làkk yi, ci xeeti model yu bees yi, ci liggéeyu moderaasioŋ bi ci saasi, ak ci jaxasoo ci noon yi ci biti ci anam yiñ tëral.
Firnde bu am solo bi ci topp mooy leeral yiñ joxe ci këyit bi. Xëtu arXiv biñ joxe dafay joxe limu model yi, limu done yi, ñeenti-kategori structure, ak ñaari jekkal test, waaye du tur model yi wala done yi, li ñuy tekki ci kategori yi, laaj yi, sàrti poñ yi, wala dayo gap performance yiñ xamle. Su detay yooyu amul, ñiy jàng mënu ñu jàngat ndax méngale bi dafay laal sistem yiñ gëna jëfandikoo wala ndax done yi dañuy màndargaal jëfandikoo gi fi nekk. Kon balluwaay bi mooy wane yaatuwaayu jàngat bi, waaye du leeral mbir yiñ ciy méngale. Liggéeyukaay boobu amna solo sooy jàng resultaa yi: conclusions yiñ joxe dañuy fësal senaario yi ñu natt ak jekkal yi, waaye bind biñ joxe amul benn leeral bu gëna leer ci ni model yi doxee ci biir.
Baamtu itam dina am solo. Këyit bi ab preprint la, te mbindu cosaan bi leeralul validation moom boppam, kode buñu génne, done yuñ génne ci test, wala njariñu xoolaat ginaaw limu EMNLP 2026 Main Track ci metadata yi. Gëstukat yi dañu wara saytu li ñu jëlee ci model yu bees yi, làkk yu wuute, dugal yu bari, ak waxtaan yuy am ci ay turn yu bari. Dañu wara xoolaat itam ndax njariñu model yu yam yi dañu am suñu boole latency, njëg, njuumte positif ak njuumte negatif.
Deployër yi dañu wara xool firnde yi jëm ci boole sistem yi, du ñu xool xeetu rang yi kese. Topp-topp bu am njariñ mooy méngale benn xeetu jëfandikoo bu ëpp solo ak njaxasu moderatër yu yam, sàrti eskalaasioŋ, ak xoolaat nit ci suufu liggéey yu bari. Woykat bi waxul ni dañu jàngat jëmmal ensemble wala nit-ci-loop, kon seen njariñ ba leegi kenn xamul. Leerul itam naka la performance di mëna wax luy waaja am ci askan wi, fu jëfandikukat yi di mëna ànd ak ay filtre ak coppite yu bonn yi ci diir bu gàtt. Yooyu xam-xam dañuy tënk ni directement resultaa yi ñu xamle mëna jiite dogal yi ci liggéey, waaye ñu ngi gëna dooleel moytu bu mag bi ci këyit bi: waxtaanu kaaraange dafa wara leer ci senaario bi ñuy natt.