Me ya faru
Masu bincike sun gabatar da τ^τ-Bench, ma'auni wanda ke sa wakili na ƙarshe ya gina aikin don tsarin coding AI. Maƙasudin yana ba da bayanan kasuwanci na wakilin mai haɓakawa, buƙatun abokin ciniki, API samarwa, tushen lambar da ke akwai, da iyaka akan ƙira da farashin sabis, sannan kimanta sakamakon sabis na abokin ciniki akan masu amfani da siminti.
Tushen arXiv, wanda aka ƙaddamar a ranar 4 ga Satumba, 2026, ya bayyana τ^τ-Bench a matsayin muhalli don kimanta tsarin AI waɗanda ke gina wakilai maimakon kawai amsa tambayoyin ƙima. Wakilin mai haɓakawa yana karɓar bayanan da kasuwanci ke kiyayewa, buƙatu daga abokin ciniki, API ɗin samarwa ta wanda dole ne a gudanar da ayyuka, tushen lambar da aka gada, da ƙuntatawa akan hidimar farashi da zaɓin ƙira. Dole ne ta yi amfani da waɗannan kayan don isar da cikakken wakilin sabis na abokin ciniki.
Ana ƙididdige wakilin da aka samu ta hanyar tura shi akan masu amfani da aka yi amfani da su. A cikin ayyukan 53 a cikin yankuna huɗu, takardar ta ba da rahoton cewa ƙaƙƙarfan tsarin sa -Claude Opus 5 da aka yi amfani da shi ta hanyar Claude Code-ya wuce 23.9% na simintin ƙima. Marubucin da ƙwararru ya rubuta ya samu kashi 82.2%. Waɗannan su ne sakamakon da jaridar ta ruwaito; tushen baya samar da ingantaccen aiki mai zaman kansa akan shafin saukowa na arXiv.
Marubutan sun gano tsarin gazawar da suka ce sun yi kama da matsalolin da masu haɓakawa na ɗan adam ke fuskanta: tambayoyi marasa zurfi maimakon zurfin fahimtar bayanan kasuwanci, ƙarancin sadarwa tare da abokin ciniki, da rashin isasshen gwaji tare da gine-ginen wakilai ko ciyarwa. Suna siffanta ma'auni a matsayin yunƙuri na yin wakilin haɗin gwiwar gina maƙasudin ma'auni don masu ƙididdigewa.
Me ya sa yake da mahimmanci
Alamar ma'auni ta yi niyya ga gibi a cikin kimantawa na yanzu: ko tsarin AI zai iya sadar da wakili mai amfani a cikin ƙaƙƙarfan ƙaƙƙarfan haɗin kai na abokin ciniki. Rahotan tazarar aikin da aka ruwaito tsakanin ƙaƙƙarfan tsarin da aka gwada da kuma ƙwararrun ƙwararrun yana nuna cewa ikon yin ƙididdigewa kawai ba ya kafa ƙwarewa wajen fahimtar bayanan kasuwanci, sadarwa tare da abokan ciniki, yin zaɓin gine-gine, ko sarrafa farashin aiki.
Yawancin kimantawa sun keɓance ikon samfurin don samar da lamba ko kammala ƙayyadadden ƙayyadadden aiki. τ^τ-Bench maimakon gwada jerin yanke shawara wanda ke ƙayyade ko wakili zai iya aiki a cikin saitin aiki: fassarar bayanan ƙungiya mara kyau, fassara bukatun abokin ciniki cikin hali, haɗawa tare da tsarin da ake ciki, zabar samfuri, da daidaitawa mai inganci da farashi. Wannan ya sa gibin da aka ruwaito ya zama mai amfani ga ƙungiyoyi waɗanda ke yanke shawarar nawa injiniyan ɗan adam da bitar ayyukan ginin wakili har yanzu suna buƙata.
Sakamakon ya kuma samar da ingantacciyar hanya don bincika da'awar cewa wakilai na coding na iya maye gurbin ko sarrafa aikin haɓaka software a kusa da tsarin AI. A cewar majiyar, tsarin da aka gwada yakan samar da wani abu da ke gudana amma ya kasa cika zurfafan buƙatun haɗin gwiwa. Don haka ma'auni yana jujjuya hankali daga tsara lambar kawai zuwa ingancin tsarin da aka tura da kuma hulɗarsa da masu amfani.
Sakamakon ya kasance mai iyaka. Shafin saukarwa ba ya ba da cikakkun bayanai game da aikin ginin ma'auni, ƙirar na'urar kwaikwayo, tsarin ƙira, zaɓi na asali, ko rashin tabbas na ƙididdiga. Hakanan baya nuna cewa maki 23.9% yana annabta sakamakon samarwa. Takardar siffa ce ta arXiv, don haka ya kamata a yi la'akari da da'awarta azaman binciken bincike da ke jiran ƙarin bincike da maimaitawa.
Ingantacciyar hanyar sadarwa: Yadda A zahiri yake Aiki
Bincika fasahar da ke bayan wannan ci gaban ta hanyar mu'amala.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Abin kallo na gaba
Takardar ba ta tabbatar da yadda τ^τ-Bench ke kwatanta da sauran ma'auni ba, ko masu amfani da simulators suna hasashen aiki tare da abokan ciniki na gaske, ko kuma ko sakamakon ya bambanta fiye da ayyukan 53 da aka ruwaito da yankuna huɗu. Har ila yau, tushen ba ya tattara bayanan isa ga jama'a, buƙatun aiwatarwa, farashi, ko kwafi mai zaman kansa.
Ko marubutan sun saki ma'auni, ƙayyadaddun ayyuka, kayan aikin ƙima, da aiwatar da tunani suna da mahimmanci don sake haɓakawa. Shafin tushen yana tabbatar da takarda da haɗin kai zuwa nau'ikan PDF da HTML, amma baya bayyana cewa maƙasudin kansa yana iya samun damar jama'a ko gano kowane yanayi ko farashi.
Ya kamata kimantawa na gaba su gwada ƙarin samfura, tsarin wakilai-code, yankuna, da nau'ikan ayyuka, yayin da suke fayyace yadda masu amfani da kwaikwayi ke wakiltar halayen abokin ciniki na gaske. Kwatanta tare da wakili na yanzu, coding, da ma'auni na injiniya na software zai taimaka wajen kafa ƙarin ƙarfin τ^τ-Bench matakan.
Ƙayyadaddun da aka ruwaito sun yi nuni ga buƙatun bita na aiki: duba yadda wakilai ke neman bayanan ƙungiyoyi, suna buƙatar bayyananniyar sadarwar abokin ciniki, kimanta madadin gine-gine, da saka idanu kan farashin hidima kafin turawa. Madogararsa baya bayar da rahoton aika aika na duniya, sakamakon abokin ciniki, ko afkuwar tsaro, don haka ba a san sakamakon ba.