Kini o ṣẹlẹ
Awọn oniwadi ṣafihan τ^τ-Bench, ala-ilẹ kan ti o jẹ ki iṣelọpọ opin-si-opin jẹ iṣẹ-ṣiṣe fun awọn eto ifaminsi AI. Aṣepari naa n fun awọn igbasilẹ iṣowo aṣoju olupilẹṣẹ, awọn ibeere alabara, API iṣelọpọ kan, koodu koodu to wa tẹlẹ, ati awọn opin lori awọn awoṣe ati awọn idiyele ṣiṣe, lẹhinna ṣe iṣiro aṣoju iṣẹ alabara ti o yọrisi lodi si awọn olumulo afarawe.
Orisun arXiv, ti a fi silẹ ni Oṣu Kẹsan Ọjọ 4, Ọdun 2026, ṣapejuwe τ^τ-Ijoba gẹgẹbi agbegbe fun iṣiro awọn eto AI ti o kọ awọn aṣoju dipo kiki idahun awọn itọsi ala-ilẹ nikan. Aṣoju olupilẹṣẹ gba awọn igbasilẹ ti iṣowo kan tọju gangan, awọn ibeere lati ọdọ alabara kan, API iṣelọpọ nipasẹ eyiti awọn iṣẹ ṣiṣe gbọdọ ṣiṣẹ, koodu ti jogun, ati awọn ihamọ lori ṣiṣe idiyele ati yiyan awoṣe. O gbọdọ lo awọn ohun elo wọnyẹn lati jiṣẹ aṣoju iṣẹ alabara pipe kan.
Aṣoju ti o yọrisi jẹ iṣiro nipasẹ gbigbe lọ lodi si awọn olumulo ti o ṣe adaṣe. Kọja awọn iṣẹ-ṣiṣe 53 ni awọn agbegbe mẹrin, iwe naa ṣe ijabọ pe iṣeto ti o lagbara julọ-Claude Opus 5 ti a lo nipasẹ Claude Code-kọja 23.9% ti awọn iṣeṣiro igbelewọn. Aja itọkasi ti onkọwe-iwé ti gba 82.2%. Iwọnyi jẹ awọn abajade ti o royin nipasẹ iwe; orisun ko pese afọwọsi ominira lori oju-iwe ibalẹ arXiv.
Awọn onkọwe ṣe idanimọ awọn ilana ikuna ti wọn sọ pe o jọ awọn iṣoro ti o pade nipasẹ awọn olupilẹṣẹ aṣoju eniyan: awọn ibeere aijinile dipo oye jinlẹ ti awọn igbasilẹ iṣowo, ibaraẹnisọrọ kekere pẹlu alabara, ati idanwo ti ko to pẹlu faaji aṣoju tabi inawo iṣẹ. Wọn ṣe apejuwe ala-ilẹ bi igbiyanju lati jẹ ki aṣoju ifọwọsowọpọ kọ ibi-afẹde wiwọn fun awọn aṣoju ifaminsi.
Awọn alaye orisun: arxiv.org ↗
Kini idi ti o ṣe pataki
Aami ala-fifo aafo kan ninu awọn igbelewọn lọwọlọwọ: boya eto AI le ṣe jiṣẹ aṣoju lilo kan laarin awọn idiwọ idoti ti adehun igbeyawo alabara gidi kan. Aafo iṣẹ ṣiṣe ti o royin laarin iṣeto ni idanwo ti o lagbara julọ ati itọkasi iwé ni imọran pe agbara ifaminsi nikan ko ṣe agbekalẹ agbara ni oye data iṣowo, sisọ pẹlu awọn alabara, ṣiṣe awọn yiyan ayaworan, tabi ṣakoso awọn idiyele iṣẹ.
Ọpọlọpọ awọn igbelewọn ṣe iyasọtọ agbara awoṣe lati ṣe ipilẹṣẹ koodu tabi pari iṣẹ-ṣiṣe pàtó kan. τ^τ-Ijoko dipo ṣe idanwo pq awọn ipinnu ti o pinnu boya oluranlowo le ṣiṣẹ ni eto iṣiṣẹ: itumọ data igbekalẹ aipe, itumọ awọn iwulo alabara sinu ihuwasi, ṣepọ pẹlu eto ti o wa, yiyan awọn awoṣe, ati iwọntunwọnsi didara lodi si idiyele. Iyẹn jẹ ki aafo ti a royin le wulo si awọn ẹgbẹ ti n pinnu iye imọ-ẹrọ eniyan ati atunwo awọn iṣan-iṣẹ iṣẹ ṣiṣe aṣoju tun nilo.
Awọn abajade naa tun pese ọna ti o nipọn diẹ sii lati ṣe ayẹwo awọn iṣeduro pe awọn aṣoju ifaminsi le rọpo tabi ṣe adaṣe adaṣe iṣẹ-idagbasoke sọfitiwia ni ayika awọn eto AI. Gẹgẹbi orisun naa, awọn eto idanwo nigbagbogbo n ṣe nkan ti o ṣiṣẹ ṣugbọn kuna lati pade awọn ibeere jinlẹ ti adehun igbeyawo. Nitorina ala-ilẹ naa yi akiyesi lati iran koodu nikan si didara eto ti a fi ranṣẹ ati ibaraenisepo rẹ pẹlu awọn olumulo.
Abajade wa ni opin. Oju-iwe ibalẹ ko funni ni alaye nipa iṣẹ ṣiṣe ala-ilẹ, apẹrẹ simulator, ilana igbelewọn, yiyan ipilẹ, tabi aidaniloju iṣiro. O tun ko fihan pe 23.9% Dimegilio asọtẹlẹ awọn abajade iṣelọpọ. Iwe naa jẹ iwe-tẹlẹ arXiv, nitorinaa awọn ẹtọ rẹ yẹ ki o ṣe itọju bi awọn awari iwadii ni isunmọ ayẹwo siwaju ati ẹda.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Iwe naa ko ṣe agbekalẹ bi τ^τ-Ijoko ṣe ṣe afiwe pẹlu awọn ami-ami miiran, boya awọn olumulo ti o ṣe adaṣe ṣe asọtẹlẹ iṣẹ ṣiṣe pẹlu awọn alabara gidi, tabi boya awọn abajade gbogbogbo kọja awọn iṣẹ ṣiṣe 53 ti o royin ati awọn ibugbe mẹrin. Orisun naa ko ṣe iwe iwọle si ala-ilẹ ti gbogbo eniyan, awọn ibeere imuse, idiyele, tabi ẹda ominira.
Boya awọn onkọwe ṣe idasilẹ ala-ilẹ, awọn pato iṣẹ ṣiṣe, ijanu igbelewọn, ati awọn imuse itọkasi jẹ pataki fun isọdọtun. Oju-iwe orisun jẹrisi iwe naa ati awọn ọna asopọ si PDF ati awọn ẹya HTML, ṣugbọn ko sọ pe ala funrarẹ ni iraye si gbangba tabi ṣe idanimọ awọn ipo wiwọle eyikeyi tabi idiyele.
Awọn igbelewọn ọjọ iwaju yẹ ki o ṣe idanwo awọn awoṣe diẹ sii, awọn eto aṣoju ifaminsi, awọn ibugbe, ati awọn oriṣi iṣẹ-ṣiṣe, lakoko ti o n ṣalaye bii awọn olumulo ti a ṣe afiwe ṣe ṣe aṣoju ihuwasi alabara gidi. Awọn afiwe pẹlu aṣoju ti o wa tẹlẹ, ifaminsi, ati awọn ipilẹ-ẹrọ imọ-ẹrọ sọfitiwia yoo ṣe iranlọwọ lati fi idi agbara afikun wo awọn iwọn τ^τ-Ibench.
Awọn aropin ti a royin tọka si awọn ibeere atunyẹwo ilowo: ṣayẹwo bii awọn aṣoju ṣe n beere awọn igbasilẹ igbekalẹ, nilo ibaraẹnisọrọ alabara ti o fojuhan, ṣe iṣiro awọn faaji yiyan, ati ṣetọju awọn idiyele ṣiṣe ṣaaju imuṣiṣẹ. Orisun naa ko ṣe ijabọ awọn imuṣiṣẹ ni agbaye gidi, awọn abajade alabara, tabi awọn iṣẹlẹ ailewu, nitorinaa awọn abajade yẹn jẹ aimọ.