Lu xew
Gëstukat yi dugal nañu τ^τ-Bench, muy référence buy tax tabax ab agent end-to-end nekk liggéey bi ci sistemu kodage IA yi. bi dafay jox agent developpeur bi dokimaa liggéey, bëgg-bëggu kiliyaan bi, API biy liggéey, codebase bi fi nekk, ak ay yamaleg ci model yi ak njëgu liggéey bi, ginaaw ga mu jàngat agent biy liggéey ci kiliyaan bi ci jëfandikukat yi ñuy simuler.
arXiv source, biñu joxe ci 4 septembre 2026, dafay leeral τ^τ-Bench ni environmaa bi ñuy jàngat sistem IA yiy tabax ay ndawu liggéey, duñu tontu rek ci laaji . Agent developpeur dafay jot ay dokimaa yu benn entreprise di denc, ay laaj ci kiliyaan bi, benn API bu liggéey yi wara jaar ngir dox, benn codebase buñ moom, ak ay tënk ci njëgu serwiis bi ak tànneef model bi. Dafa wara jëfandikoo jumtukaay yooyu ngir mëna joxe serwiis kiliyaan bu mat sëkk.
Agent biy génne dañu koy jàngat ci jëfandikoo ko ci jëfandikukat yuñ simulé. Ci 53 liggéey ci ñeenti domen, këyit bi dafa wax ni tabb bi gëna am doole - Claude Opus 5 jëfandikoo ci Claude Code - romb na 23.9% ci simulaasioŋu jàngat. Benn plafond buñu bind ci eksper amna 82.2%. Lii mooy li surnaal bi wax ci resultaa yi; source bi joxewul benn validation bu moom boppam ci xëtu landing arXiv.
Auteur yi dañuy xàmmee motifs yu ñàkka mëna dem yi ñu wax ni dañuy nuru jafe-jafe yi developpeur agent yi di dajeel: laaj yu xóotul ci barabu xam-xam bu xóot ci dokimaa business yi, jokkoo bu néew ak kiliyaan bi, ak jàngat yu doywul ak architecture agent wala xaalis biy liggéey. Dañuy màndargaal bi ni jéema def tabax ab ndawu kooperatiif ab mébet buñu mëna natt ngir ab ndawu kode.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Referanse bi dafay xool benn boor ci jàngat yi am ci jamono jii: ndax sistemu IA bi mën na joxe ab ndawu liggéey buñu mëna jëfandikoo ci biir ay jafe-jafe yu jaxasoo ci jëflante ak kiliyaan bu dëggu. Diggante bi am ci digganté configuration biñ gëna am doole ak royuwaayu eksper bi dafay wane ni mën kodage kese du tax nga am kàttan ci xam done yi ci liggéey bi, jokkoo ak kiliyaan yi, def tànneef ci wàllu architecture, wala yoriinu njëgu liggéey bi.
Evaluation yu bari dañuy xàjjale kàttanu model bi ngir defar kode wala def liggéey buñ leeral ci anam wu gàtt. τ^τ-Bench lu moy loolu dafay saytu yenn dogal yuy wane ndax ab ndawu liggéey mën na doxal ci ab barabu liggéey: tekki done yu jaarul yoon ci mbootaay gi, tekki bëgg-bëggu kiliyaan yi ci doxalin, boole ci sistem bu fi nekk, tann ay model, ak ekilibre kalite ak njëg. Loolu mooy tax bërëb biñ xamle mën na am njariñ ci ekip yiy jël dogal ci ni ingenieur nit ñi ak xoolaat liggéeyu tabax agent yi di soxla ba leegi.
Resultaa yi dañuy joxe itam anam wu gëna fëgër ngir jàngat wax ji ñuy wax ni agent codage yi mën nañu wecci wala otomatise liggéeyu defar losisel ci sistem IA yi. Sunu sukkandikoo ci surnaal bi, sistem yi ñu natt dañuy faral di defar luy daw waaye mënu ñu méngoo ak li gëna xóot ci li ñuy laaj ci jëflante bi. Kon référence bi dafay soppi bàyyi xel ci defar kode kese, mu bàyyi xel ci kalite sistem biñ dugal ak li muy jëflante ak jëfandikukat yi.
Resultaa bi mingi wéy di yam. Xëtu landing bi joxeewul benn leeral ci tabax liggéeyu bi, jëmmal simulatër bi, doxalinu poñ yi, tànneefu baseline, wala ñàkka wóor ci lim yi. Wanewul itam ni 23.9% ci poñ yi dañuy wax luy génn ci liggéey bi. Këyit bi arXiv preprint la, kon dañu wara jàppee waxtaanam ni li gëstu bi wane, balaa ñuy xaar ñu xoolaat ko bu baax ba noppi ñu koy defaraat.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Li nga wara seetaan ci topp
Këyit dafa wanewul ni τ^τ-Bench di méngoo ak yeneen benchmarks, ndax jëfandikukat yi ñu simulé dañuy wax luy waaja am ci kiliyaan yi, wala ndax resultaa yi dañuy ëpp 53 liggéey yiñ xamle ak ñeenti domen yi. Source bi itam bindul jëfandikoo publik, sàrti samp gi, njëg yi, wala replication moom seen bopp.
Ndax bindkat yi génne nañu bi, leeral yi ci liggéey bi, jàngat bi, ak jëfandikoo royuwaay yi, lu am solo la ngir mëna defaraat. Xëtu cosaan bi dafay firndeel këyit bi ak lëkkalekaay yi ci PDF ak HTML, waaye waxul ni benchmark bi ci boppam ñépp mën nañu ko jëfandikoo wala ràññee bépp anam wala njëg.
Evaluation yi ci kanam war nañu natt yeneen model, sistem coding-agent, domen, ak xeetu liggéey, boole ci leeral ni jëfandikukat yi ñuy simulee di wane doxalinu kiliyaan bi dëgg. Tegtale ak agent yi fi nekk, codage, ak losisel-ingenieur benchmarks dina tax ñu xam ban yeneen mënin τ^τ-Bench natt.
Limitation yi ñu xamle dañuy wane li ñuy laaj ci xoolaat: xool naka la ndawu liggéey yi di laajee dokimaa yu mbootaay mi, laaj jokkoo bu leer ak kiliyaan yi, jàngat yeneen architecture, ak xool njëgu liggéey bi laataa ñuy dugal leen. Source bi waxul dara ci jëfandikoo gi ci àdduna bi, njariñu kiliyaan yi, wala jafe-jafe kaaraange, kon limu nara jur nekkul luñu xamul.