Maxaa dhacay
Cilmi baadhayaashu waxay soo bandhigeen τ^τ-Bench, oo ah bartilmaameed ka dhigaya wakiilka dhamaadka-ilaa-dhamaadka hawsha nidaamyada codaynta AI. Halbeeggu waxa uu siinayaa horumariyaha wakiillada diiwaannada ganacsiga, shuruudaha macmiilka, API-soo-saarka, koodbase jira, iyo xaddidaya moodooyinka iyo kharashyada u adeegidda, ka dibna waxa ay qiimeeyaan natiijada wakiilka adeegga macaamiisha ee isticmaalayaasha la ekaysiiyay.
Isha arXiv, oo la gudbiyay Sebtembar 4, 2026, waxay ku qeexday τ^τ-Bench inay tahay deegaan lagu qiimeeyo nidaamyada AI ee dhisa wakiilada halkii ay ka jawaabi lahaayeen oo keliya soo-jeedinta bartilmaameedka. Wakiilka horumariyuhu waxa uu helayaa diiwaanada ganacsigu dhab ahaantii hayo, shuruudaha macmiilka, API-soo-saarka kaas oo ay tahay in hawluhu ku socdaan, codebase la dhaxlo, iyo caqabadaha u adeegida qiimaha iyo qaabka doorashada. Waa inay isticmaashaa agabkaas si ay u keento wakiil adeeg macmiil oo dhammaystiran.
Wakiilka soo baxay waxaa lagu qiimeeyaa iyadoo la geynayo isticmaalayaasha la ekaysiiyay. Guud ahaan 53 hawlood oo afar goobood ah, warqadu waxay soo warisay in qaabaynteeda ugu xooga badan-Claude Opus 5 loo adeegsaday Claude Code—ay dhaaftay 23.9% ee jilitaanka qiimaynta. Saqafka tixraaca ee khabiirku qoray ayaa dhaliyay 82.2%. Kuwani waa natiijooyinka uu sheegay wargeysku; isha ma bixinayso ansaxinta madax banaan bogga soo degista arXiv.
Qorayaashu waxay aqoonsadaan qaababka guuldarrooyinka oo ay yiraahdaan waxay u eg yihiin dhibaatooyinka ay la kulmaan horumariyeyaasha wakiilka aadanaha: weydiimo qoto dheer halkii ay ka ahaan lahaayeen faham qoto dheer ee diiwaannada ganacsiga, xiriir yar oo lala yeesho macaamilka, iyo tijaabin ku filan oo ku saabsan dhismaha wakiilka ama kharashka u adeegida. Waxay ku sifeeyaan halbeegga isku dayga ah in la sameeyo wakiilka iskaashatada dhisidda bartilmaameed la qiyaasi karo ee wakiilada codaynta.
Faahfaahinta isha: arxiv.org ↗
Maxay muhiim u tahay
Halbeeggu waxa uu bartilmaameedsanayaa farqiga u dhexeeya qiimaynaha hadda jira: in nidaamka AI uu keeni karo wakiil la isticmaali karo oo ku dhex jira caqabadaha qallafsan ee ka-qaybgalka macmiilka dhabta ah. Farqiga waxqabadka ee la soo sheegay ee u dhexeeya qaabaynta ugu xoogan ee la tijaabiyay iyo tixraaca khabiirku waxay soo jeedinaysaa in kartida codayntu kaligeed aanay dhisin kartida fahamka xogta ganacsiga, la xidhiidhka macaamiisha, samaynta doorashooyin qaab dhismeed, ama maaraynta kharashaadka hawlgalka.
Qiimaynno badan ayaa go'doomiyay awoodda moodeelka si uu u soo saaro kood ama dhamaystir hawl yar oo cayiman. τ^τ-Bench beddelkeeda waxay tijaabisaa silsilado go'aanno go'aaminaya in wakiilku ku shaqayn karo goob hawlgelineed: tarjumidda xogta urureed ee aan dhammaystirnayn, tarjumidda baahiyaha macmiilka habdhaqan, la-dhexgelinta nidaamka jira, xulashada moodooyinka, iyo isku-dheellitirka tayada qiimaha. Taasi waxay ka dhigaysa farqiga la soo sheegay mid faa'iido u leh kooxaha go'aaminaya inta injineerada bini'aadamka iyo dib u eegista socodka shaqada wakiil-dhisidda ay weli u baahan yihiin.
Natiijooyinku waxay sidoo kale bixiyaan hab la taaban karo oo lagu baaro sheegashooyinka ah in wakiilada koodka ay bedeli karaan ama si weyn u toosin karaan shaqada horumarinta software ee nidaamyada AI. Sida laga soo xigtay isha, nidaamyada la tijaabiyay inta badan waxay soo saaraan wax orday laakiin ku guuldareystay inay buuxiyaan shuruudaha qoto dheer ee ka-qaybgalka. Sidaa darteed bartilmaameedku waxa uu dareenka ka beddelayaa jiilka koodka oo keliya una beddelaya tayada nidaamka la diray iyo la macaamilka isticmaaleyaasha.
Natiijadu waxay ahaanaysaa xad. Bogga soo degaya wax tafaasiil ah kama bixinayo dhismaha hawsha bartilmaameedka, naqshadda jilitaanka, habka dhibcaha, xulashada gundhigga, ama hubanti la'aanta tirakoobka. Sidoo kale ma muujinayso in dhibcaha 23.9% ay saadaaliyaan natiijooyinka wax soo saarka. Warqaddu waa daabacaad hore oo arXiv ah, sidaa darteed sheegashooyinkeeda waa in loola dhaqmaa sidii natiijooyin cilmi baaris oo sugaya baaritaan dheeraad ah iyo ku celcelin.
Farsamaynta Is-dhexgalka: Sida Dhabta Ay U Shaqeyso
U baadh tignoolajiyada hoose ee ka dambeeya horumarkan si isdhexgal leh.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Maxaa la daawan doona xiga
Waraaqdu ma dejinayso sida τ^τ-Bench u barbar dhigayso bartilmaameedyada kale, haddii isticmaaleyaasheeda la isku daray ay saadaaliyaan waxqabadka macaamiisha dhabta ah, ama haddii natiijooyinku ay ka sarreeyaan hawlaha 53 ee la soo sheegay iyo afarta qaybood. Isha sidoo kale ma diiwaangeliso gelitaanka bartilmaameedka guud, shuruudaha fulinta, qiimaha, ama ku celcelinta madaxbannaanida.
Haddii qorayaashu sii daayaan bartilmaameedka, qeexida hawsha, xajinta qiimaynta, iyo hirgelinta tixraacu waxay muhiim u tahay soo saarista. Bogga isha ayaa xaqiijinaya warqadda iyo isku xirka noocyada PDF iyo HTML, laakiin ma sheegayo in bartilmaameedka laftiisa uu yahay mid si guud loo heli karo ama uu aqoonsanayo xaalad kasta oo gelitaanka ama qiimaha.
Qiimaynta mustaqbalka waa in ay tijaabiso noocyo badan, nidaamyada codaynta-wakiilada, xayndaabka, iyo noocyada hawsha, iyada oo la caddaynayo sida isticmaalayaasha la sawiray ay u matalaan dhaqanka macmiilka dhabta ah. Isbarbardhigga wakiilka jira, kood-samaynta, iyo halbeegyada-injineerinta software-ku waxay gacan ka geysan doontaa in la ogaado waxa awoodda dheeraadka ah ee cabbiraadaha τ^τ-Bench.
Xaddidaadaha la soo sheegay ayaa tilmaamaya shuruudaha dib u eegista wax ku oolka ah: kormeer sida wakiilladu u weydiiyaan diiwaannada ururka, u baahan yihiin xidhiidh cad oo macmiil ah, qiimee qaab dhismeedka beddelka ah, iyo la socoshada kharashyada adeegga ka hor inta aan la dirin. Isha kama warbixiso hawl galka dhabta ah ee aduunka, natiijooyinka macmiilka, ama shilalka badbaadada, markaa cawaaqibtaasi waa mid aan la garanayn.