Lu xew
Benn këyitu gëstu bu ñu siiwal ci 5 ut bi mungi jefandikoo ap pexe bu juge ci natt njang ngir natt li IA safety benchmarks yi di japp, tann ay ensemble yu ndaw yu am njariñ, ak saytu coppite yi ci jeffin ju model bi.
Ñaari gëstukat yu moom seen bopp ak ñaari gëstukat yu bokk ci UK AI Security Institute jàngat nañu 192 xeetu waxtaan ci juróom ñatti benchmark yuy wax ci baña sàkku luy lore, baña sàkku lu baax, loraange ci muy tekki, ak dëggu. Suite bi yépp amna 5,255 laaj balaa ñuy njëkka defar; jàngat bi denc na 5,067 ginaaw biñu dindie tontu yu amul poñ ak mbir yu wuutewul ci xeetu test yi.
Ekip bi dafa jël model yi ni test-takers ak benchmark prompts ni test items, jëfandikoo theorie tontu item ngir xayma ban prompt moo jafe ak ban model moo gëna tàqale. Ci jàngat bi gëna mag ci facteur yi, ab pexe ci ñatti facteur - ñu tënk ko ni bañ bu dëgër, dëggu, ak loraange yi ci muy tekki - leeral nañu 77% ci coppite yi ci mënin model, buñu ko méngale ak 47% ci benn facteur.
Ci 20 jàngat yuñ def, ñatti test yu 25-prompt yuñ def, dañu wane ñatti mbir yooyu ñu jëfandikoo lu néew ci 2% ci suite bi. Ci HarmBench, SORRY-Bench, ak OR-Bench-Hard, lu tollu ci 10 laaj yuñ tànnee ci anam wu méngoo, dañu defar rang yu mat sëkk ak korrelaasioŋ yu 0.92 ba 0.94 ba noppi wàññi limu laaj yi ci 97–99%; njariñ li dafa wàññeeku lu budget test bi di gëna yokk.
Kompresioŋ bi bokkul ak jël misaal ci anam wu bari. Teori tontu ci mbir yi dafay xayma ni laaj bu nekk di jafe ak ni muy tàqalee xeetu tontu yu wuute, ba noppi tànnee mbir yiy tëye structure test bu gëna mag bi. Auteur yi dañu méngale formileer yu gàtt yu fiks yi ak tànneef yi méngoo, ba noppi ñu amal ay jàngat, duñu natt ay done yuñ jëfandikoo ngir tànn li ñuy laaj. Design boobu dafay jàppale wax ju gàtt ji ñuy wax ni yenn rang yu am ci benchmark mën nañu leen joxewaat ci anam wu jaar yoon; wanewul ni test bu am 10 wala 25 mbir mën na gis xeetu njuumte bu bees.
Ay leeral ci cosaan: Rivera and colleagues' research paper on arXiv ↗
Lu tax mu am solo
Gëstu bi dafa wane ni ay laaj yu ñu gëna tann mën nañu tax saytu kaaraange IA yu bari di gëna xéewale te duñu def ni bépp benchmark dafay natt benn poñ kaaraange universel.
Test yu yomb yi mën nañu may developpeur yi, laboratuwaar yu ndaw yi, ak jàngat yi moom seen bopp ñu xoolaat yeneen xeetu model ci diiru tàggat, defar bu baax, kantite, ak coppite yu gaaw ci sistem bi. Resultaa bi mooy ñu defaraat natt yi fi nekk ci anam wu jaar yoon, te baña yaatal li benchmark yooyu mëna gis.
Càmbaru fakteer bi dafay wane itam ni amna njariñ ci poñ yi. Benchmark yiy neexal bañ mën nañu jaxasoo seen biir, waaye benchmark ngir moytu bañ yu amul njariñ dafay neexal jëf ju wuute. Moyenne leen te doo leeral poids yi mën na nëbb ndax model bi dafa gëna wóor, gëna tënk, wala gëna néew njariñ ci laaj yu baax.
Këyit dafa natt itam pexe audit black-box ci doxalinu sandbagging buñ ko soobe. Saytu tontu-motif jàpp na tànneef yu néew waaye ñàkka def lu gëna bari ci uniforme; yokk ci taarixu mën mën xool yokk deteksioŋ boole 94-97% ci simulated cases. Loolu dafay jàppale audit yu bari te baña wéeru ci benn poñ.
Ngir developpeur yi, valeur bi ñuy jëfandikoo mooy fréquence. Mën nañu defaraat jàngat bu gëna gàtt ginaaw coppite ci sistem bi, paas kantite, fine-tune, yeesal jumtukaay, wala xoolaat politiku kaaraange te du yàq budget bu mat sëkk saa yu nekk. Waaye resultaa bi amul njariñ ludul sudee ekip yi tëye suite original bi ni audit periodique, wëlbatiku laaj yiñ tëye, ak amal lànket ci coppite yu yéeme ci barabu optimiser directement ngir test comprimé. Luko moy xëkk bu yomb bi mën na nekk beneen mbir bu ñuy jëfandikoo ngir overfitting.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').Which description best fits "narrow AI", the kind of AI in use today?
Li nga wara seetaan ci topp
Seetal replication independent, validation ci famiy model yu ëlëg, ak firnde ni test yu gàtt yi dañuy wax luy waaja am ci bitti benchmark yiñ defar ngir ñu am.
Lii ab preprint bu bees la, du ab dogal bu matt ci peer-review. Càmbaru structure latent bi dafa jëfandikoo 134 xeetu mbir, te bindkat yi dañu jàpp ni dafa tuuti ci wàllu psychometric, ba noppi beneen xeetu génne dafa tëye ñaari mbir, du ñett. Tur faktër yi ay resumé empirik lañu, duñu ay firnde yu wóor ci wàllu kaaraange.
Modèle bu nekk dafa defar benn tontu ci laaj bu nekk ci OpenRouter, te benchmark bu nekk dafa jëfandikoo àttekat biñ ko bindal. Test yu gàtt yi ciy génn mën nañu am ay jafe-jafe ci laaj yu njëkk ya, sàrti poñ yi, làkk wiñ wax, ak àttekat yi; bindkat yi dañu wax bu leer ni compression bi wanewul ni benchmark bi dafay wax luy waaja am ci kaaraange gi wala mu des ci ay leeral ci model yi ci kanam.
Test yi ñu def ci sandbagging dañu jëfandikoo ay organism yuñ defar ngir moytu jàngat, te loolu mën na gëna yomba gis. Saytu API yi dañuy wane wéy di doxal, du dàntite poid model yu nëbbu, te jàngat bi nattwul benn noon buñ tàggat ngir daaneel pexe audit yi.
Li gëna am solo ci këyit bi mooy diggante njariñu natt gi ak garantie kaaraange gi. Benn formu bu gàtt mën na xayma mbir yu nëbbu yi ci benchmark bi njëkk, waaye dafay jël làkku benchmark bi, àttekat bi, kaadar bu gaaw bi, ak bërëb yu nëbbu yi. Evaluation yi ci kanam war nañu natt ay lakk yu bari yu ñuy laaj, ay agent yu am jumtukaay, ay waxtaan yu gudd, ay model yu baax te baax, ak ay dogal yu nit ñi moom seen bopp. Dañu wara xamle itam su amee poñ buñ komprime nekkatul stabil, ndax correlation bu jaar yoon ci done yiñ tëye mën na nëbb benn njuumte ci famiy model bi ci topp.
Benn sàrt buñ tëral ngir mëna jëfandikoo dafa juddoo ci tënk yooyu: jëfandikoo ay test yuñ komprime ni ay sentineel, du ay àtte. Ekip yi mën nañu leen doxal lu bari ngir jàpp regressions, ba noppi yokk coppite ci benchmark bu mat te xoolaat nit su forme bu gàtt bi toxalee ci anam wuñu ko xaarul. Firnde gi gëstu bi joxe boppam dafay jàppale liggéey bi ci anam wu bari ndax facteur yi dañu bawoo ci ay laaj yu wuute, ay àttekat ak ay génne model. Siiwal mbir yiñ tànn, kodu tànneef, njariñ yiñ tëye, ak jaar-jaaru versioŋ dina may jàngat yi moom seen bopp ñu xool ndax test yu gàtt yi dina ñu des ci joxe leeral ginaaw bi defarkat yi gisee leen ak ginaaw bi famiy model yu bees yi soppi séddaleb tontu yi.
Leer gi dafay am solo suñuy yeesal benn model. Test bu gàtt buñ kalibree ci benn jikko mën na nekk lu yomb lool, lu sew lool, wala mu méngoo ak sistem bu bees bi ci anam wu jaarul yoon. Ekip yi dañu wara denc version yu njëkk yi, fësal su amee mbir wala àttekat bu soppeeku, ba noppi xamle diggante wóolu seen bopp ludul joxe rang bu gàtt ni poñ kaaraange bu leer. Jëf yooyu dañuy soppi njariñu këyit bi ci prograamu saytu buñ mëna saytu, boole ci tëye benchmark bi njëkk ngir ñu gëna xoolaat ko.