Vad hände
Ett nytt förtryck som publicerades den 11 augusti kallar ett observerat felläge i agentkodningsförråd "katastrofisk minns": projektinstruktionsfiler fortsätter att samla på sig regler eftersom det är billigt att lägga till en försiktighetsåtgärd, medan det blir svårare att säkert ta bort en gammal regel efter att dess ursprungliga motivering försvinner.
Forskarna samlade 247 694 instruktionslivslängder och 299 440 commit-to-commit-övergångar från 1 867 offentliga arkiv som innehåller filer som CLAUDE.md. De spårade individuella direktiv genom redigeringar och rapporterar att filerna växte med 226 % under deras observerade livslängder, och lade till i genomsnitt 4,9 nettoinstruktioner per modifieringsbekräftelse. Studien behandlar dessa siffror som bevis på ihållande ackumulering i sitt urval, inte bevis på att varje instruktion var onödig eller att alla agentiska kodningsprojekt beter sig på samma sätt.
Tidningens centrala mekanism är asymmetriska bevis. En underhållare eller kodningsagent kan lägga till en ny instruktion efter ett misstag utan att rekonstruera varje interaktion mellan de regler som redan finns. Senare radering är mer riskfylld: när det motiverande misslyckandet och det omgivande sammanhanget har försvunnit, kan det krävas att man tar bort ett direktiv att kontrollera om det fortfarande förhindrar en regression under många kombinationer av de återstående direktiven. I förvarsdata föll den uppskattade raderingsrisken när en instruktion åldrades, med en rapporterad log-risklutning på -0,032 per commit.
För att testa en möjlig lösning skapade författarna instruktionsföljande uppgifter genom att invertera IFEval-begränsningar, och jämförde sedan prompter som innehöll nakna regler med prompter som också bevarade korta kommentarer som förklarar varför varje regel existerade. I deras kontrollerade inställningar samlade okommenterade uppmaningar 211,3 % överskottsinstruktioner, medan kommenterade uppmaningar slutade på 1,4 % överskott. Kommentarerna var inte extra kommandon för modellen; de var kompakt härkomst avsedda att göra senare borttagningsbeslut granskningsbara.
Teamet utvärderade också om mindre, bättre dokumenterade uppmaningar hjälpte agenter att följa instruktionerna. På sitt WildIFEval-härledda riktmärke rapporterar tidningen vinster på så mycket som 23,1 procentenheter när skälen bevarades och föråldrade regler kunde tas bort. Dessa resultat är påståenden från ett nyligen publicerat, icke-peer-reviewed preprint. Arbetet fastställer inte att kommentarer ensamma kommer att förbättra varje kodningsagent, arkiv, språk eller produktionsarbetsflöde.
Källinformation: Catastrophic remembering research paper on arXiv ↗
Varför det spelar roll
Instruktionsfiler på förvarsnivå håller på att bli ett hållbart operativt minne för kodningsagenter, så okontrollerad tillväxt kan höja tokenkostnader, bevara föråldrade begränsningar och göra reglerna för automatiserade kodändringar svårare för människor att förstå.
Den praktiska risken är inte bara en lång fil. Varje instruktion tävlar om en modells uppmärksamhet och kan interagera med nyare regler, verktygsbeskrivningar, kodkontext och användarens begäran. Ett direktiv som skrivits för att förhindra ett historiskt misslyckande kan bli irrelevant efter att kodbasen ändrats, komma i konflikt med en nyare policy eller överdriva orelaterat arbete. Om ingen kan rekonstruera varför det finns, är det säkraste lokala valet ofta att behålla det, vilket flyttar saneringskostnaderna till framtida åtaganden.
Det mönstret är viktigt utöver CLAUDE.md. Teamen lagrar i allt högre grad konventioner, säkerhetsgränser, testkommandon, arkitektoniska beslut och varningar om driftsättning i maskinläsbar projektvägledning. Dessa filer kan förbättra konsekvensen och minska upprepade misstag, men de blir också en förvaltningsyta: människor bör kunna identifiera vem som införde en följdregel, vilka bevis som motiverade den och vilket tillstånd som skulle göra det möjligt att dra tillbaka den. En logisk kommentar är en lätt version av det revisionsspåret.
Resultatet antyder en användbar designprincip för agentminne: att komma ihåg bör inkludera villkoren för att glömma. Istället för att bara registrera "gör alltid X", kan ett system bevara det observerade felet, regelns omfattning, den relevanta komponenten eller testet och en granskningsutlösare. Det automatiserar inte raderingen, men det ger en senare underhållare bevis för att avgöra om begränsningen fortfarande skyddar korrektheten eller bara återspeglar en gammal miljö.
Det finns också en vinkel av allmänt intresse eftersom kodningsagenter rör mer följdriktig programvara. Ackumulerade privata instruktioner kan tyst forma säkerhetsbeslut, tillgänglighetsbeteende, datahantering eller hur en agent reagerar på fel. Mindre filer är inte automatiskt säkrare, och aggressiv rensning kan ta bort ett viktigt skydd. Det användbara resultatet är spårbarhet: färre oförklarade regler, uttryckligt ägande och granskningsrutiner som låter människor utmana både tillägg och raderingar.
Interaktiv mekanism: hur det faktiskt fungerar
Utforska den underliggande tekniken bakom denna utveckling interaktivt.
crm_get_transaction(id='4092').What most distinguishes an AI agent from a basic chatbot?
Vad du ska titta på härnäst
Nästa test är oberoende replikering över språk, organisationer, agentprodukter och längre livslängd förråd, följt av framtida försök som mäter om dokumenterad rensning förbättrar kodkvaliteten utan att ta bort viktiga säkerhetsåtgärder.
Observationsurvalet har urvalsgränser. Offentliga arkiv som använder agentinstruktionsfiler kan skilja sig från privata företags kodbaser, och arkivhistoriken kan inte avslöja varje diskussion eller incident utanför plattformen som motiverade en regel. Tillväxt kan också vara rationell när ett projekt expanderar. Framtida analyser bör skilja användbar täckning av nya komponenter från dubbletter, motsägelsefulla eller föråldrade instruktioner och rapportera hur resultaten varierar beroende på lagrets ålder, storlek, språk, antal bidragsgivare och agentplattform.
De kontrollerade experimenten behöver en bredare validering. Uppgifterna härleddes från instruktionsföljande riktmärken snarare än månader av liveprogramvaruunderhåll, och tidningens matchande pipeline kontrollerades på ett prov med 50 övergångar. En författare producerade handanteckningen som användes i en del av valideringen. Studien täckte inte icke-engelska instruktionsfiler, och den svepte inte varje tröskel som användes för att avgöra när en ändring räknades som en omskrivning snarare än en fortsättning på en instruktion.
Kommentarer kan bevara felaktiga motiveringar lika lätt som korrekta. Team bör därför testa strukturerad härkomst mot alternativ som länkade problem, misslyckade regressionstester, utgångsdatum, ägandefält eller automatiserade kontroller som flaggar dubbletter och motstridiga direktiv. Det säkraste arbetsflödet skulle föreslå borttagningar, visa bevisen och påverkade tester och kräva granskning för att se till att reglerna har stor inverkan snarare än att tillåta en agent att beskära instruktioner enbart för att spara tokens.
Användbara uppföljningsbevis skulle mäta slut-till-änd-resultat: promptstorlek, instruktionsefterlevnad, uppgiftsframgång, regressioner, granskningstid och antalet regler som återställs efter radering. Forskare bör också testa om modeller faktiskt använder logiska kommentarer som avsett eller ibland misstar dem för ytterligare krav. Tills dessa resultat kommer fram är katastrofal minne en väl underbyggd beskrivning av författarnas datauppsättning och experiment, inte en universell lag eller en anledning att radera mogna projektvägledningar.