Lu xew
Gëstukat yi Amirmohammad Farzaneh ak Osvaldo Simeone xoolaat nañu benn téere buy wax ci xalaat lu gàtt, yeexal xel, wala TSDS, muy benn kaada buy yoriinu xalaat ak yokkute ci ndawi LLM yiñ jagleel bu baax.
Këyit bi, ñu soppali ko ci version 2 ci Aug. 26, dafay propoze TSDS ngir LLM agents yiy liggéey ci buntu bi. Design bi ci digg bi dafa boole ñaari mecanisme. Benn sonde convergence bu woyof dafay taxawal xalaat ci aparey bi sudee jëf ji agent bi bëggoon def dafa daje. Ci beneen wàll, sàrtu yeexal bu sukkandiko ci jaxasoo dafay yónnee jëf ci xeetu cloud-side sudee ñàkka wóor gi ci gox bi dafa yéeg lool. Luñu bëgga mooy may ab ndawu liggéey mu xalaat bu gàtt balaa muy jël dogal, ci noonu muy tëye yoonu xalaat bu gëna am doole bu bawoo ci biti sudee sistemu dëkk bi gëna néew lu wóor.
Auteur yi neena ñu ñaari mekaniism yi dañu leen boole ci trajectoire episode yu matt ci jëfandikoo ab procédure Learn-Then-Test bu am mébet yu bari. Sunu sukkandikoo ci surnaal bi, anam yii dañuy joxe gaaraati misaal yu mujj ngir neexal episode bi ñuy seentu ak njëgu woote cloud bi. Këyit dafay méngale TSDS ak ñaari gis-gis yu wéet: benn bi dafay xoole ci xalaat buy kalibre, beneen bi dafay xoole ci deferral buñ kalibree. Source bi joxeewul niveau de confiance bi ci suuf, dayo misaal yi, dàntite model yi, leeral yi ci hardware bi, wala jekkal jëfandikoo gi ci xëtu landing bu arXiv.
TSDS ñu ngi koy jàngat ci ñeenti liggéey yu nuroo ak ReAct, yuy wax ci xeeti doxalin yu bari: xalaat arithmetik ci GSM8K, tontu laaj yu bari ci HotpotQA, defar kode ci MBPP, ak waajal jéego yu bari ci liggéeyu robot kër. Bindkat yi dañu wax ni TSDS wàññina xalaat ci episod bu nekk ci 43% ba 65% ci wàllu deferral-only baselines ci HotpotQA, MBPP, ak liggéeyu kër-robot, ci noonu lañuy tëye neexal biñ wax ak gaaraati cloud-call-rate. Source bi joxeewul lim buñu mëna méngale ak GSM8K, kon waru ñu jël resultaa bi ci rang bi yépp.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
Liggéey bi dafay wax ci jafe-jafe yi am ci biir ndawu IA yi: xalaat ci dëkk bi mën na wàññi koolute ci sistem cloud yi waaye dafa wara nekk lu wóor, ci noonu la cloud escalation mën na yokk jëfandikoo jumtukaay ak njëgu liggéey bi. Këyit dafay wax ci ab pexe buñu nara boole ngir saafara ñaari jafe-jafe yi.
Deployment Edge dafay tax jafe-jafe këyit bi jëm ci ni ñuy doxalee agent IA yi. Agent biy xalaat ci dëkk bi mën na moytu yónnee bépp dogal bu diggante ci sarwis cloud, waaye sistem bi ci dëkk bi wéy di xalaat lu amul njariñ mën na yàq jumtukaayi ordinatër yu néew. Sondage convergence biñu nara def mingi xoole ci inefficacité bi ci taxaw su jëf jiñ bëggoon def stabilisee. Regle biy yeexal dafay saafara jafe-jafe yi ci gëna yokk jëf yu wóorul, moo gën ñu sàkku ci dosiye bu nekk ñu def ko ci gox bi.
Liñu joxe ci rapoor du ay xalaat yu gàtt rek. TSDS dafay jéema boole njiitu ordinatër ak xayma bu wóorul ak njariñu episod yi. Bi ñuy kalibree jumtukaay yi ñoom ñaar, bindkat yi dañu bëgga baña gaawa jeexal neexal bi ñuy seentu, ba noppi di saytu limu woote cloud yi, ci noonu lañuy wàññi xalaati ordinatër yi ci gox bi. Njaxas moomu mën na am njariñ ci sistemu ndawu liggéey yi wara ekilibre tontu, jumtukaayi boor yi jàppandi, ak wéeru ci model yu sori. Firndeg këyit bi, tamit, desna rapoor bu bawoo ci evaluation benchmark bi bindkat yi def, du benn resultaa production bu moom boppam.
Evaluation kër-robot dafay jox gëstu bi dimension pratique ndax source bi dafay kaadre ReAct agents ni amna solo ci IA physique. Ba leegi, garanti biñ xamle ñu ngi koy leeral ci wàllu neexal episode bi ñuy seentu ak njëgu woote cloud, du garanti kaaraange bu mat sëkk ngir jëf physique. Woykat bi waxul ni TSDS dañu ko dugal ci kër dëgg, ni dañu ko natt ci loraange yi ci yaram, wala ni dafay tere jëf yu wóorul. Kon soloom ci mbooloo mi mingi ci pexem seytu bu mëna am njariñ ngir yoriinu jumtukaayi IA-agent, ak dooley firnde gi tënk ci xibaar yi am ci dokimaa preprint bi.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Li nga wara seetaan ci topp
Resultaa yiñ siiwal ñu ngi bawoo ci benn impression arXiv ak ñeenti jekkal benchmark. Replication independent, details methodologiques yu leer, ak firnde yu bawoo ci deployment yu dëggu yi dina ñu soxla ngir xam fu yaatuwaayu wàññig ordinatër yiñ xamle ak garanti yi ñuy jëfandikoo.
Baamtu dafa wara leer ndax wàññiku 43% -65% amna doole ci yeneen xeeti lokal ak cloud, configurations hardware, structure yu gaaw, guddaayi episod, ak séddale liggéey. Source bi dafa wax ñeenti jekkal jàngat waaye waxul ñaata episod lañu jëfandikoo, ban model agent lañu natt, naka lañu nattee ordinatër bi, wala naka lañu tànnee sonde convergence ak threshold . Detay yooyu dañu am solo ndax anam wu baax ci benn model wala configuration benchmark mënul toxal directement ci yeneen agents edge.
Garantii këyit bi yelloo nañu ñu tekki ko bu baax. Woykat bi dafa wax ni doxalinu Learn-Then-Test dafay joxe misaal yu am àpp ci neexal bi ñuy seentu ci episod bi ak njëgu woote cloud bi. Leeralul ni wóolu sa bopp wala ni ñuy muñee ci xëtu landing bi, te waxul garanti ci bépp dogal bu benn nit jël, bépp trajectoire, wala kaaraange àdduna physique. Liggéeyu topp-topp dafa wara natt ndax deferral bu xam-xam bu wóorul dafay xàmmee mbir yu jëf ju dëgër ci gox bi te baña juum, rawatina sudee xalaatu ab ndawu liggéey dafay gaawa jëm ci firnde yu réer.
Kompromis yi ci wàllu liggéey itam amagul. Eskalaasioŋ cloud mën na indi latency, dependence ci lëkkaloo, laaj ci doxalinu done, wala njëg yuñ xaymawul ci source bi. Rapport abstract yu këyit bi wàññi nañu xalaat ci ordinatër ak taxawaayu woote cloud, waaye du latency absolu, jëfandikoo energie, njëgu xaalis, wala njeexital ci wàllu privacy. Source bi itam xamul benn génne losisel bu ñépp bokk wala benn génne liggéey. Natt yooyu ak leeral yi ci samp gi ñooy wane ndax TSDS pare na ngir sistem yu am njariñ wala dafay des ci njëkk nekk proposition gëstub etape benchmark.
Jàngatkat yi dañu wara wuutale njariñu référence biñ siiwal ci këyit bi ak conclusion yu gëna yaatu yi jëm ci agents edge yi. Evaluation bi ñu leeral mingi aju ci ñeenti jekkal liggéey yu tuddu ReAct-style, te wàññi giñ wax dafay wax ci ñett ci ñoom. Garanti yiñ wax dañuy wax ci neexal bi ñuy seentu ci episod bi ak njëgu woote cloud bi. Laajte yi jëm ci toxal, kaaraange, latency, energie, njëg, nëbbëtu, ak jëfandikoo dañuy des ubbeeku ci dokimaa source bi.