Maxaa dhacay
Ai2 waxay soo bandhigtay BenchMIRT, oo ah hab dhinacyo badan leh oo lagu baadho halbeegyada tusaalaha luqadda waaweyn ee heerka su'aalaha gaarka ah. Falanqaynta waxay adeegsatay natiijooyin ka yimid 100 miisaan-furan LLM oo dhan 16 bartilmaameed iyo in ka badan 34,000 su'aalood.
Ai2 waxay leedahay BenchMIRT waxay kordhisaa Aragtida Jawaabta Shayga, farsamo lagu qiyaaso awoodaha hoose ee qaababka jawaabaha tijaabada. Noockeeda kala duwan ayaa qiyaasaya awoodda nooc kasta ee awoodaha qarsoon, iyadoo sidoo kale la qiyaasayo dhibka su'aal kasta iyo awoodda ay u leedahay inay kala saarto moodooyinka ka xoog badan ama ka daciifsan awoodahaas. Habka waxaa lagu dabaqaa heerarka moodeelka iyo su'aalaha labadaba, taasoo u oggolaanaysa cilmi-baarayaasha inay baaraan waxa shayada gaarka ah u muuqdaan inay cabbiraan halkii ay ku tiirsanaan lahaayeen oo keliya dhibcaha cabbirka guud.
Cilmi-baarayaashu waxay tababareen BenchMIRT iyaga oo isticmaalaya natiijooyin ka yimid 100 LLMs oo dhan 16 bartilmaameed oo ka kooban in ka badan 34,000 su'aalood. Lix bartilmaameed ayaa diiradda lagu saaray sababaynta guud, oo ay ku jiraan MMLU-Pro, GPQA, MATH, iyo BBH. Toban ayaa ka yimid Ai2's Olmo 3, oo ay ku jiraan HarmBench, StrongReject, WildJailbreak, BBQ, WMDP, iyo XSTest. Sida laga soo xigtay isha, cilmi-baarayaashu ma aysan sheegin habka bartilmaameedyada u taagan awoodaha. Waxay si madaxbanaan u soo celisay laba cabbir oo waaweyn: badbaadada iyo sababaynta guud. Ku celcelinta falanqaynta xoqan waxay soo saartay isla labada cabbir, kuwaas oo Ai2 u soo bandhigtay caddayn ahaan in natiijadu ay xasilloon tahay gudaha jaangooyooyinkan.
BenchMIRT waxay si weyn u wajahday ujeedadii loogu talagalay ee qiimayno badan, laakiin sidoo kale waxay aqoonsatay waxyaabo ka reeban. BBQ, bartilmaameedka loogu talagalay in lagu qiimeeyo ku-tiirsanaanta fikradaha bulshada, oo si xooggan ula jaanqaadaya sababaynta guud marka loo eego badbaadada falanqaynta. Ai2 waxay sheegtay in buundada BBQ hoose ay qayb ahaan ka tarjumi karto dhibka raadinta cilaaqaadka ama sababaynta macluumaadka su'aasha, halkii ay ka ahaan lahayd dabeecadda badbaadada oo keliya. WMDP, taas oo tijaabisa aqoonta laba-isticmaalka khatarta ah ee bayoolaji, kimistari, iyo amniga internetka, ayaa sidoo kale aad ugu dhowaa sababaynta guud marka loo eego badbaadada. Sababtoo ah WMDP waxay ula dhaqantaa diidmada ama ku guul darradu inay bixiso macluumaadka khatarta ah sidii jawaabtii la rabay, sabab guud oo xooggan ayaa lala xiriiriyay buundooyinka WMDP hoose.
Falanqaynta ayaa sidoo kale lagu ogaaday in hal bartilmaameed uu ka koobnaan karo kooxo su'aalo ah oo leh qaabab kala duwan. Heerka HarmBench iyo su'aalaha codsiga waxyeelada leh ee macnaha guud waxay si dhow ula jaan qaadeen badbaadada, halka su'aalaheeda xuquuqda daabacaadda ay aad ugu dhow yihiin sababaynta guud. Ai2 kuma soo gabagabayso in bartilmaameedyadani ay khaldan yihiin. Sheegashadu way ka sii yar tahay: isku darka dhibcaha waxay isku dari kartaa dhowr nooc oo macluumaad ah, BenchMIRT waxay kaa caawin kartaa inay aqoonsato su'aalaha keenaya natiijooyinkaas.
Faahfaahinta isha: huggingface.co ↗
Maxay muhiim u tahay
Dhibcaha bartilmaameedka waxaa inta badan loola dhaqmaa sidii cabbirro hal karti ah, laakiin natiijooyinka BenchMIRT waxay soo jeedinayaan buundooyinka qaarkood inay isku daraan calaamado badan. Taasi waxay saameyn kartaa sida cilmi-baarayaashu ay isbarbardhigaan moodooyinka, naqshadeynta imtixaannada badbaadada, iyo tarjumaadda sheegashooyinka ku saabsan awoodaha moodeelka.
Macnaha dhexe waa tarjumaad. Halbeegga lagu calaamadiyay cabbiraadda badbaadada ayaa qayb ahaan laga yaabaa inay cabbirto fahamka akhriska, sababaynta, aqoonta goobta, ama awoodda raadraaca macnaha guud. Haddii qaybahaas aan la kala saarin, buundada moodeelka ayaa si xad dhaaf ah loo akhriyi karaa iyadoo caddaynaysa hal karti. BenchMIRT waxay siisaa cilmi-baarayaasha hab ay ku eegaan isku dhafkaas oo ay u qeexaan natiijooyinka si sax ah.
Habka ayaa sidoo kale ka dhigi kara qiimeynta mid waxtar leh. Ai2 waxay su'aalaha u kala saraysay sida wanaagsan ee ay u kala sooceen ka xoog badan moodooyinka daciifka ah ee cabbirrada hoose, iyadoo la ilaalinayo isku dhafka walxaha fudud iyo kuwa adag. Marka laga soo tago 16-ka bartilmaameed, isha ayaa sheegaysa in ilaalinta 10% su'aalaha guud ahaan la ilaaliyo ku dhawaad isku dalbashada moodooyinka xagga badbaadada la qiyaaso ama awoodaha caqli-galnimada sida tan buuxda. Haysashada 50% waxay inta badan u dhigantaa cabbirka cabbirka buuxa si dhow. Tani waxay yarayn kartaa qiimaha qiimaynta ama waxay ka dhigi kartaa imtixaan soo noqnoqda mid wax ku ool ah, inkasta oo aanay warbixintu caddayn sida natiijadu ugu wareejinayso ururinta bartilmaameedka ama moodooyinka cusub.
BenchMIRT waxay sidoo kale isku daydaa inay saadaaliso sida moodalku u fulin doono su'aasha aan lagu darin jawaabaha la arkay. Tijaabooyinka Ai2, waxay si sax ah u saadaalisay in moodalku uu si sax ah uga jawaabi doono su'aasha la qabtay 79% wakhtiga, marka la barbar dhigo 70% hab fudud oo loo qaatay in moodelku uu ku fulin doono su'aal kasta oo ku saabsan iyo sidoo kale guud ahaan bartilmaameedka. Natiijadu waxay soo jeedinaysaa macluumaadka heerka-su'aasha inay hagaajin karto qiyaasaha hab-dhaqanka moodeelka, laakiin waa tijaabo ay soo tebiyeen abuurayaasha habka, ma aha xaqiijin madax-bannaan.
Dadweynaha, tarjumaadda bar-tilmaameedka ka sii cad ayaa muhiim ah sababtoo ah buundooyinka moodeelku waxay saameeyaan sida awoodda iyo badbaadada loo gudbiyo. Isha ma tusinayso in BenchMIRT ay bedesho nooc kasta dhaqankiisa dhabta ah, cadeeynaya in moodelku uu badbaado yahay, ama uu dejiyo qeexitaan caalami ah oo sababaynta ama badbaadada. Waa hab hanti-dhawr iyo falanqeyn oo natiijadiisu ku xidhan tahay su'aalaha iyo tusaalaha loo soo bandhigay.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
Which component of an AI application is the machine-learning model itself?
Maxaa la daawan doona xiga
Habkani wuxuu u baahan yahay in lagu tijaabiyo jiilalka moodeelka cusub iyo ururinta bartilmaameedyada kala duwan. Cilmi baadhayaashu waxay sidoo kale u baahan doonaan inay miisaamaan waxtarkeeda iyo faa'iidooyinka daahfurnaanta khatarta ah in falanqaynta heerka su'aasha ay ka caawin karto horumarinta inay ka saaraan alaabta badbaadada adag iyo daciifinta qiimeynta.
Xaddidaadda ugu muhiimsan waa soo-dhoweynta. Ai2 waxay leedahay nooc kasta oo loo isticmaalo in lagu tababaro oo lagu qiimeeyo BenchMIRT la sii daayay Maarso 2025, markaa isha ma cadda sida wanaagsan ee habka ugu shaqeeyo jiilalka dambe ee LLMs. Moodooyinka cusubi waxay soo saari karaan qaabab jawaab celin oo kala duwan, cabbirada laga soo helay jaangooyooyinka la xushay waxaa laga yaabaa inaysan sii ahaan kuwa sare.
Doorashada waa su'aal kale oo furan. Cabbirrada BenchMIRT ay ogaato waxay ku xiran tahay qiimeynta ay hesho. Badbaadada iyo sababaynta guud ayaa ka soo baxday mashruucan 16-beegga isku dhafka ah, laakiin qayb ka duwan ayaa soo saari kara awoodo kale ama waxay soo saari kartaa xiriiryo kala duwan oo ka dhex jira su'aalaha. Isha kama warbixinayso isbarbardhigga ballaadhan ee muujinaya in qaab-dhismeed isku mid ahi uu ka dhex muuqdo qolalka bartilmaameedka madaxa bannaan.
Waxa kale oo jira is dhaafsi u dhexeeya hufnaanta iyo saxnaanta darajada. Ai2 ayaa sheegaysa in marka ujeedadu tahay darajooyinka moodooyinka iyadoo la saadaaliyay waxqabadka la saadaaliyay ee alaabta si aan kala sooc lahayn loo qabtay, celceliska buundada bartilmaameedka ayaa wax yar ka fiican BenchMIRT. Faa'iidada habkani waa macluumaadka dhuuban ee ay bixiso ee ku saabsan su'aalaha shakhsi ahaaneed iyo awoodaha hoose, ma aha daruuri in darajo guud oo ka wanaagsan goob kasta.
Ugu dambeyntii, daah-furnaanta ayaa si khaldan loo isticmaali karaa. Isla qiyaasaha heerka su'aasha ee tilmaamaya walxaha badbaadada macluumaadka ayaa ka caawin kara qof inuu ka saaro ama ka fogaado alaabtaas oo uu abuuro qiimeyn daciif ah in moodal aan ammaan ahayn uu gudbi karo. Ai2 waxay qiratay khatartaas oo waxay sheegtay in qalabyada jira ay mar hore awood u siiyeen gooyn la mid ah. Shaqada mustaqbalka waa inay caddaysaa sida naqshadeeyayaasha bartilmaameedku u daabacan karaan ogaanshaha waxtarka leh iyagoo ilaalinaya daacadnimada qiimeynta.