Lu xew
Gëstukat yi dañu tànn jàngat buy wuutale xam-xam guddaay ngir ndawi GUI, wala LACL-GUI, muy benn kaadaru jàngat buy dooleel ndawi GUI yu bari. Xeetu xam-xam bi dafay yokk siñaal yu baax ci niveau trajectoire ci surveillance bu sukkandiko ci resultaa yi, ngir fexe ba jeffin ju jaar yoon gëna gàtt ba noppi joxe wuute bu gëna fës ci jéem yu lajj yi. Këyit dafay wax ci yokkute yu gëna dëppoo ak anam yu njëkk ya ci GUI-agent benchmarks.
Boroom bi njëkk mooy arXiv preprint biñ joxe ci 22 ut 2026, tuddee ko "Gannaaw ndam ak ñàkk: Jàngale bu wuute bu xam guddaay ngir Agent GUI." Dafay wax ci IA ci saasi: ay ndawu modelu làkk yu bari yu bari yuy doxal ci interfaasu jëfandikukat bu graafik. Auteur yi dañu jàpp ni jàngu dooleel mooy xeetu tàggat bi gëna am solo ci sistem yooyu, ba noppi ñu bàyyi seen xel ci ni ñuy tabaxee siñaalu tàggat bi su ab ndawu liggéey jéemee def benn liggéey. Ci jekkal boobu, focus këyit bi du interface bu bees wala man-manu jëfandikukat bi. Dafay nuru anam wuñu xalaat ngir jëmmal jàng ci dokimaa yuñ jéema def.
Këyit dafa wax ni pexe yu ñuy jëfandikoo bu bari lu ci melni Grupp Relative Policy Optimization mën nañu am jafe-jafe ci li ñuy woowe njuumte-gradient, jur optimisation bu amul njariñ wala bu amul dal. Dafay dugal liggéeyam ci jeegoo yu bees yi ngir soppali njàngum dooleel ak neexal yuñ mëna saytu ni ay mébet yu wuute wala yu lalu ci xaaj. Sunu sukkandikoo ci abstract bi, anam yooyu mën nañu gëna baaxal stabilite bi ci moytu jeffin gradient bu am jafe-jafe, waaye dañuy saytu résultat bu mujj bi ci trajectoire bi. Taxawaay bi amna solo ndax benn etiketu mujj mën na nëbb wuute ci ni ab ndawu liggéey bi defee ba yegg ci. LACL-GUI dafay jàpp trajectoire bi ni bokk na ci siñaalu tàggat bi.
LACL-GUI dañu ko fësal ni xeetu doole-jàng-ak-neexal-ñu-mën-xam-xam buy yokk leeral ci kalite jëf yu mat te toppalante. Ci biir trajectoire yu baax yi, dafay taxawal tànneef yiñ nara def ngir mëna jëfandikoo ay execution yu gàtt. Ci biir trajectoire yu lajj, dafay wuutale jéem yi ci seeni wuute ak trajectoire yu am ndam. Abstract bi dafay wax ci jàngat yiñ def ci GUI-agent benchmarks, ba noppi wax ni anam wi dafa defar siñaal jàng yu gëna am njariñ, ba noppi gëna yokk performance yi ci anam yu njëkk ya. Xammewul màndarga yi, tabb model yi, lim liggéey yi, njariñu lim yi, wala test statistik yi. Loolu mooy tax structure trajectoire nekk lu am solo ci mébet biñ wax ci njubluwaay bi. Resultaa bi ñu xamle mingi aju ci ni ñuy jàngee ci benchmarks, ak firnde yu jëm ci jàngat yi ñu bàyyi ci detay yi ci këyit bi.
Ay leeral ci cosaan: arxiv.org ↗
Lu tax mu am solo
GUI agents yi dañu leen sos ngir ñu mëna def ay liggéey ci environmaa digital, kon tàggat yaram ak wóor mën nañu am njeexital ci ni ñu mënee am njariñ ginaaw wane. Li gëna am solo ci këyit bi mooy anam wu ñuy jëlee ay leeral yu gëna bari ci jéem-jéem yu am ndam ak yu baaxul, ci barab bi ñuy jàppee résultat bu nekk ni ndam wala ñàkka am ndam. Ndax balluwaay bi joxeewul ay tur, poñ, baseline, wala firnde jëfandikoo, yaatuwaayu yokkute biñ xamle ba tay leerul.
Gëstu bi dafay wax ci benn ñakk kattan bu am solo ci tàggat ndawu liggéeykat yi wara def jëf yu bari ci interface bi. Résultat binaire mën na wane ni jéem bi amna ndam wala daa lajj, waaye loolu ci boppam mënul wane ndax jéem bu baax bi jëfandikoo na jéego yu amul njariñ wala ndax benn jéego bi dafa gënoon jege jeexal beneen bi. Xeetu xam-xam bi ñu nara jëfandikoo dafay jàppee wuute yooyu ni ay surveillance yu am njariñ, lu mëna jox optimisateur bi ay leeral yu gëna bari ci trajectoire bu nekk buñ enregistre. Kon proposition bi mingi aju ci ni ñuy joxee tànneef yooyu ak ni ñu leen di jëfandikoo ci diiru optimisation bi. Yooyu tànneef ci jëmmal dañu am solo ngir mëna tekki liñ xamle ci yokkute yi am ci liggéey bi.
Ngir developpeur yi GUI agents, xalaat boobu mën na am solo ndax liggéey digital yi dañuy faral di amaale ay toppalante moo gën ñuy wax luy waaja am. Xeetu tàggat yaram buy ñaax yoon yu gàtt yu am ndam mën na wàññi jaxasoo bu amul njariñ, ci noonu la pajum ñàkka mëna jàppale ab ndawu liggéey mu jàngee ci lu jege ñàkk ludul boole leen ci jéem yu réer lool. Loolu mooy njeextalu jëmmal ci njubluwaay bi, du gis-gis yu moom boppam wane ci balluwaay bi weesu li bindkat yi wax. Kadre boobu dafay wane itam njariñ li am sudee liggéey yi wuute ci jafe-jafe wala sudee doxalinu interface bi soppeeku. Source bi tontuwul laaj yooyu.
Resultaa bi dañu koy gëna jàppee ni gëstu bu jëm ca kanam, du firnde produit buñ mëna jëfandikoo. Abstract bi dafa wax ni LACL-GUI dafay gëna suqali performance yi ci anam yi ko jiitu, waaye du joxe benn effet bu mag, resultaa yi jëm ci liggéey bi, li ñuy laaj ci xayma, wala ay detay yuñ koy méngale. Wanewul itam ni gis-gis bi dafay gëna baaxal kaaraange, yamale, yombal jëfandikoo gi, wala wóor ci interfaasu àdduna dëgg. Limitation yooyu dañu tax liggéey bi am njariñ ngir xam yoon wi ñuy jaar ngir tàggat nit ñi, fekk ñu baña xam njariñ yi ci nekk ci askan wi. Ci anam wu gëna woyof, xalaat bi dafay boole njariñ ak baax baaxaay bi ci yoriinu liggéey bi. Du ci boppam mooy wane ni ab ndawu liggéey wara ekilibre gaawaay, moytu ak mëna defaraat. Dafay soxla jàngat bu xóot ngir tàqale li njuréef yi mëna def ak kàttanu model bi ci suuf ak liggéey yiñ tànn. Taxawaay boobu leerul ci tënk biñ am.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Li nga wara seetaan ci topp
Topp-topp bu am solo bi mooy ndax ngëneel yi LACL-GUI xamle dañuy tëye ci yeneen environmaa GUI, xeetu multimodal, guddaayi liggéey, ak jàngat yu moom seen bopp. Jàngatkat yi dañu wara xool itam firnde yi jëm ci njëgu tàggat, doxalin inference, reproductibility, ak ndax trajectoires yu gàtt yu am ndam dina ñu des ci yoon ci interface yuñ soppi wala liggéey yu gëna xawa jafe. Source bi firndewul ni anam wi ñu ko siiwal ñépp, mën nañu ko defar, wala gëna baax ci bitti jàngat yiñ wax ci këyit bi.
Replication independent war na saytu ndax njariñ liñu wax mingi joge ci surveillance bu xam guddaay bi ci boppam wala ci yeneen tànneef ci tabb tàggat bi. Tegtale yu am njariñ dina ñu xàjjale tànneefi trajectoire bu baax, siñaal bu baaxul-kalite, ak mébet buy wuutale bi ci suuf. Source bi waxul ndax ablations yu mel noonu bokk nañu ci, kon contribution bu composant bu nekk desna lu ubbeeku. Test bu ni mel dina leeral ndax anam wi dafay soppi dinaamiku optimisation kese wala dafay defar jeffin juy wéy di wóolu ci bitti jekkal evaluation bi. Fimna nii source bi bàyyiwul wuute gi te kenn xamul.
Generalisasioŋ beneen mbir la bu am solo buñu xamul. Agent GUI yi mën nañu daje ak xeeti jëmmal yu wuute, xeeti jaxasoo, horizon liggéey ak coppite ci interface bi. Woykat bi dafa wax ni dañu amal jàngat ci GUI-agent benchmarks; du taxawal performance ci interface yuñu gisul, ci workflow yu yàgg yi, ci dugal yi ñuy gis yu bari bruit, wala ci liggéey yi yoon wi gëna gàtt nekkul yoon wi gëna wóor wala gëna wóor. Kon jàngat yi ci kanam war nañu natt njubte gi boole ci lim jëf yi, wér ci njuumte yi, ak dëgër ngir soppi.
Disponibilite këyit bi ak tolluwaayu jëfandikoo gi itam dañuy laaj xool. Source bi dafay wane ab dugal arXiv ak lëkkalekaay ci këyit, waaye waxul ni kode, done tàggat, checkpoints, wala ab ndawu liggéey mën nañu ko jëfandikoo. Du joxe itam benn leeral ci wàllu lisence, aparey, diiru tàggat, jafe-jafe yi, wala nit ñi diko saytu. Ba ñuy joxe leeral yooyu, li gëna am solo mooy ni bindkat yi dañu tànn ak benchmark xeetu tàggat bu am njariñ, te baña wax ni ndawu GUI yi koy jëfandikoo mën nañu ko jëfandikoo ci anam wu yaatu. Yooyu mbiri art yu ñàkk dina tax itam ñu gëna yombal saytu anam wi ñu koy defee ba noppi ñu defaraat méngale yiñ def. Li tax ñu baña am ci source bi dafay tënk li ñu mëna wax ci adoption pratique.