Lu xew
Benn preprint bu bees buñu dugal ci 11 ut dafa tuddee benn anam buñu seetlu ni amna lu jaarul yoon ci dencukaay yi "fatteliku musiba": fichier instruction projet yi ñu ngi wéy di dajale ay sàrt ndax yokk ay moytu lu yomb la, ci noonu la efaase sàrt yu yàgg yi di gëna tar ginaaw bi sabab bi njëkk reeree.
The researchers assembled 247,694 instruction lifetimes and 299,440 commit-to-commit transitions from 1,867 public repositories containing files such as CLAUDE.md. Topp nañu tegtal bu nekk ci coppite yi, ba noppi xamle ni fichier yi dañu yokk lu tollu ci 226% ci seen dundu giñ seetlu, yokk ci lu tollu ci 4.9 tegtal net ci coppite bu nekk. Gëstu bi dafay jàppe lim yooyu ni firnde yuy wéy di dajaloo ci misaalam, te du firnde ni bépp tegtal amul njariñ wala ni bépp projet de codage agence dafay doxalee ci anam wu wuute.
Xeetu jumtukaay bi gëna am solo ci këyit bi mooy firnde asymétrique. Maintenant wala agent coding mën na yokk tegtal bu bees ginaaw njuumte te du defaraat bépp interaction ci diggante sàrt yi jota am. Su ñuy efaase ginaaw moo gëna am risk: bu njuumte bi ko waral ak li ko wër reer, dindi benn yoon mën na soxla xool ndax ba leegi mingi tere régression ci biir xeeti yoon yu bari yu des. Ci done yiñ def ci dencukaay bi, xayma nañu ni risku efaase bi daanu ci tegtal bu yàgg, ak pente log-hazard buñ xamle bu -0.032 ci commit bu nekk.
Ngir natt ab saafara bu mëna am, bindkat yi sos nañu ay liggéey yu topp tegtal yi ci soppi ay tënk IFEval, ba noppi ñu méngale ay laaj yu am sàrt yu amul dara ak ay laaj yu am itam ay komànteer yu gàtt yuy leeral lu tax sàrt bu nekk am. Ci seen tabb buñ saytu, laaj yiñ joxewul àdd dañu dajale 211.3% ci tegtal yu ëpp, waaye laaj yiñ àdd dañu mujjee ci 1.4% ci ëpp. Xalaat yi nekkul woon ay ndigal yuñ yokk ci model bi; ñu nekkoon provenance compact ngir ñu mëna saytu dogal yiñ jël ci dindi yi.
The team also evaluated whether smaller, better-documented prompts helped agents follow instructions. On its WildIFEval-derived , the paper reports gains of as much as 23.1 percentage points when rationales were preserved and obsolete rules could be removed. Resultaa yi dañu bawoo ci benn preprint buñ sooga dugal te kenn xoolaat ko. Liggéey bi wanewul ni komànteer yi kese ñooy gëna suqali bépp agent codage, dencukaay, làkk, wala def liggéeyu defar.
Ay leeral ci cosaan: Catastrophic remembering research paper on arXiv ↗
Lu tax mu am solo
Fichier yiy tegtal ci niveau depositoire dañuy nekk mémoire operationnel buy yàgg ngir agent codage yi, kon màgg buñu mënul saytu mën na yokk njëgu token yi, baña yàq ay constraints yu yàgg, ba noppi gëna yombal sàrt yi jiite coppite kode otomatik ngir nit ñi xam.
Risk bi ci nekk du dosiye bu gudd rek. Bépp tegtal dafay xëcc xel mi ci model bi, te mën na jëflante ak sàrt yu bees, leeral jumtukaay, muy tekki ci kode bi, ak laaj jëfandikukat bi. Ab tegtal buñu bind ngir moytu benn njuumte ci taarix mën na nekk lu amul njariñ ginaaw coppite yi ci codebase bi, muy xëccoo ak politik bu bees, wala di tënk liggéey bu amul benn lëkkaloo. Sudee kenn mënu defaraat li waral mu am, tanneef bi gëna wóor ci dëkk bi mooy tëye ko, loolu mooy toxal njëgu setal bi ci liggéey yi ci kanam.
Modèle boobu amul benn njariñ ginaaw CLAUDE.md. Ekip yi dañuy gëna denc seeni sàrt, ay pexe kaaraange, ay ndigalu test, dogal yi architecture yi jël, ak ay tegtal ci jëfandikoo masin ci tegtali projet yi masin mëna jàng. Dosie yooyu mën nañu gëna dëppoo ak wàññi njuumte yu bari, waaye mën nañu nekk itam surfaasu nguur: nit ñi dañu wara mëna ràññee ki dugal sàrt bu am njariñ, ban firnde moo ko gëna dëggal, ak ban anam moo koy may ñu dindi ko. Xalaat rationale mooy anam wu woyof wi ci yoonu audit bi.
Resultaa bi dafay wane ab njàngale bu am njariñ ci memory agent: fàttaliku dafa wara am sartu fàtte. Duñu enregistre rek "defal X saa yu nekk," sistem bi mën na denc njuumte biñ seetlu, yaatuwaayu sàrt bi, lëkkale bi wala test bi ci laale, ak dekkileer buy xoolaat. Loolu du efaase otomatik, waaye dafay jox maintenant bi firnde ci ginaaw ngir xam ndax constraint baa ngi aar njub wala dafay wane environmaa bu yàgg.
Amna itam lu jëm ci njariñu ñépp ndax agent codage yi dañuy laal losisel yu gëna am njariñ. Tegtal yiñ dajale ci bopp mën nañu tëral ci anam wu tekkaaral dogal yiñ jël ci wàllu kaaraange, ni ñuy jëfandikoo ay done, ni ñuy jëfandikoo ay done, wala ni ab ndawu liggéey di toppatoo jafe-jafe yi. Fichier yu ndaw yi duñu gëna am kaaraange ci saasi, te setal bu metti mën na dindi kaaraange gu am solo. Lépp lu am njariñ mooy ñu mëna topp: sàrt yu néew yuñu leeralul, boroom bu leer, ak jëf yuy xoolaat yuy may nit ñi ñu baña nangu yokk ak efaase yépp.
Mekanism buy weccoo xalaat: naka lay doxee
Saytu xarala yu bees yi ci ginaaw yokkute bii ci anam wu weccoo xalaat.
crm_get_transaction(id='4092').What most distinguishes an AI agent from a basic chatbot?
Li nga wara seetaan ci topp
Test bi ci topp mooy replication moomel sa bopp ci làkk yi, mbootaay yi, produit agent yi, ak dencukaay yu gëna gudd fan, ñu topp ci test prospective yuy natt ndax setal dokimaa dafay gëna baaxal kalite kode bi te du efaase kaaraange yu am solo yi.
Misaalu seetlu amna ay àppu tànneef. Depositoire publik yiy def fichier instructions agent mën nañu wuute ak codebases enterprise privée, te jaar-jaaru depositoire mënul fësal bépp waxtaan bu nekk ci biti platform wala incident bu waral benn sàrt. Màgg mën na nekk lu am njariñ itam sudee projet bi dafa yaatu. Analyse yi ci kanam war nañu tàqale coverage bu am njariñ ci composant yu bees yi ak ñaari yoon, réer, wala tegtal yu yàgg yi, ba noppi ñu xamle ni resultaa yi di wuutee ci at yi dencukaay bi di am, dayo bi, làkk wi, limu contributeurs yi, ak platform agent bi.
Expérience yiñ saytu war nañu am validation bu gëna yaatu. Liggéey yi ñu ngi bawoo ci yu topp tegtal yi, du ay weer yu ñuy toppatoo losisel bi, ba noppi ñu xool pipeline bi méngoo ak këyit bi ci 50 misaalu jàll. Benn bindut moo defar loxo bi ñu jëfandikoo ci wàllu validation bi. Jàngat bi waxul dara ci dosiye yi nekkul ci Àngle, te balewul bépp threshold bu ñuy jëfandikoo ngir xam kañ la coppite bi di nekk binndaat moo gën wéyal njàngale mi.
Xalaat yi mën nañu tëye sabab yu baaxul yi ci anam wu yomb ni yu baax yi. Kon ekip yi dañu wara natt provenance buñ yamale ci yeneen anam yu melni ay jafe-jafe yu lëkkaloo, test regression yu jaarul yoon, bis yi ñuy jeex, barabi moomeel, wala saytu otomatik yuy màndargaal ñaari tegtal ak yuy xëccoo. Liggéeyukaay bi gëna wóor mooy digle dindi, wane firnde yi ak test yiñ laal, ba noppi sàkku ñu xoolaat sàrt yu am njeexital yu mag yi, moo gën ñu may ab ndawu liggéey mu dagg tegtal yi ngir denc ay token.
Firnde yu am njariñ ci topp dina natt njariñu njeexte-ba-mujjentalu: dayo gaaw, topp tegtal, liggéey bu baax, regressions, diiru xoolaat, ak limu sàrt yiñ delloosi ginaaw biñu ko efaase. Gëstukat yi dañu wara saytu itam ndax model yi dañuy jëfandikoo kàddu yu gëna jubal ci ni ñu ko bëggee, wala yenn saa mu juum ci ni ñuy yokke ay laaj. Ba résultaa yi di ñëw, fàttaliku musiba mooy tegtal bu leer ci done yu bindkat yi ak seeni jàngat, du yoon bu ñépp bokk wala sabab ngir efaase njiitu projet bu mag.