Какво стана
Нов предпечат, публикуван на 11 август, назовава наблюдавания режим на повреда в хранилищата за агентно кодиране „катастрофално запомняне“: файловете с инструкции на проекта продължават да натрупват правила, тъй като добавянето на предпазна мярка е евтино, докато безопасното изтриване на старо правило става по-трудно, след като първоначалната му обосновка изчезне.
Изследователите събраха 247 694 жизнени цикли на инструкции и 299 440 прехода от ангажимент към ангажимент от 1867 публични хранилища, съдържащи файлове като CLAUDE.md. Те проследяват отделни директиви чрез редакции и съобщават, че файловете са нараснали с 226% през наблюдавания им живот, добавяйки средно 4,9 нетни инструкции на модифициращ ангажимент. Проучването третира тези цифри като доказателство за постоянно натрупване в неговата извадка, а не като доказателство, че всяка инструкция е била ненужна или че всички проекти за агентно кодиране се държат по същия начин.
Централният механизъм на хартията е асиметричното доказателство. Поддържащ или кодиращ агент може да добави нова инструкция след грешка, без да реконструира всяко взаимодействие между вече съществуващите правила. По-късното изтриване е по-рисковано: след като мотивиращият провал и заобикалящият контекст изчезнат, премахването на една директива може да изисква проверка дали тя все още предотвратява регресия при много комбинации от останалите директиви. В данните от хранилището прогнозната опасност от изтриване е намаляла като остаряла инструкция, с отчетен наклон на опасност от дневник от -0,032 на ангажимент.
За да тестват възможно решение, авторите създадоха задачи, следващи инструкции, като обърнаха ограниченията на IFEval, след което сравниха подкани, съдържащи голи правила, с подкани, които също запазиха кратки коментари, обясняващи защо съществува всяко правило. В тяхната контролирана настройка некоментираните подкани натрупаха 211,3% излишни инструкции, докато коментираните подкани завършиха с 1,4% излишък. Коментарите не бяха допълнителни команди за модела; те бяха с компактен произход, предназначени да направят по-късните решения за отстраняване подлежащи на проверка.
Екипът също така оцени дали по-малките, по-добре документирани подкани са помогнали на агентите да следват инструкциите. В своя бенчмарк, извлечен от WildIFEval, документът отчита печалби от цели 23,1 процентни пункта, когато обосновките бяха запазени и остарелите правила можеха да бъдат премахнати. Тези резултати са твърдения от наскоро публикуван, непроверен предварителен печат. Работата не установява, че само коментарите ще подобрят всеки кодиращ агент, хранилище, език или производствен работен процес.
Детайли за източника: Catastrophic remembering research paper on arXiv ↗
Защо има значение
Файловете с инструкции на ниво хранилище се превръщат в трайна оперативна памет за кодиращи агенти, така че неконтролираният растеж може да повиши разходите за токени, да запази остарелите ограничения и да направи правилата, управляващи автоматизираните промени в кода, по-трудни за разбиране от хората.
Практическият риск не е просто дълъг файл. Всяка инструкция се състезава за вниманието на модела и може да взаимодейства с по-нови правила, описания на инструменти, контекст на кода и заявка на потребителя. Директива, написана за предотвратяване на един исторически провал, може да стане неуместна след промяна на кодовата база, да е в конфликт с по-нова политика или да прекомерно ограничава несвързаната работа. Ако никой не може да възстанови защо съществува, най-безопасният местен избор често е да го запазите, което премества разходите за почистване в бъдещи ангажименти.
Този модел има значение отвъд CLAUDE.md. Екипите все повече съхраняват конвенции, граници на безопасност, тестови команди, архитектурни решения и предупреждения за внедряване в машинночетими насоки за проекти. Тези файлове могат да подобрят последователността и да намалят повтарящите се грешки, но също така се превръщат в повърхност за управление: хората трябва да могат да идентифицират кой е въвел последващо правило, какви доказателства го оправдават и какво условие би позволило то да бъде оттеглено. Мотивационният коментар е олекотена версия на тази одитна пътека.
Резултатът предполага полезен принцип на дизайн за паметта на агента: запомнянето трябва да включва условията за забравяне. Вместо да записва само „винаги правете X“, системата може да запази наблюдаваната грешка, обхвата на правилото, съответния компонент или тест и тригера за преглед. Това не автоматизира изтриването, но дава на по-късен поддържащ доказателство за решаване дали ограничението все още защитава коректността или просто отразява стара среда.
Има и гледна точка на обществения интерес, тъй като кодиращите агенти се докосват до по-последователен софтуер. Натрупаните частни инструкции могат тихо да оформят решения за сигурност, поведение за достъпност, обработка на данни или как даден агент реагира на грешки. По-малките файлове не са автоматично по-безопасни и агресивното почистване може да премахне жизненоважна защита. Полезният резултат е проследимостта: по-малко необясними правила, изрична собственост и практики за преглед, които позволяват на хората да оспорват както добавянията, така и изтриванията.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
crm_get_transaction(id='4092').What most distinguishes an AI agent from a basic chatbot?
Какво да гледате след това
Следващият тест е независимо репликиране между езици, организации, продукти на агенти и хранилища с по-дълъг живот, последвано от проспективни изпитания, които измерват дали документираното почистване подобрява качеството на кода, без да изтрива важни предпазни мерки.
Извадката за наблюдение има граници за избор. Публичните хранилища, които ангажират файлове с инструкции на агенти, може да се различават от кодовите бази на частни предприятия и хронологията на хранилището не може да разкрие всяка дискусия или инцидент извън платформата, които са мотивирали правило. Растежът също може да бъде рационален, когато един проект се разширява. Бъдещите анализи трябва да отделят полезното покритие на нови компоненти от дублиращите се, противоречиви или остарели инструкции и да докладват как резултатите варират според възрастта на хранилището, размера, езика, броя на сътрудниците и платформата на агента.
Контролираните експерименти се нуждаят от по-широко валидиране. Задачите бяха получени от бенчмаркове за следване на инструкции, а не от месеци поддръжка на софтуер на живо, а съвпадащият конвейер на хартията беше проверен на извадка от 50 прехода. Един автор създаде ръчната анотация, използвана в част от валидирането. Проучването не обхваща неанглийски файлове с инструкции и не обхваща всеки праг, използван за решаване кога дадена промяна се брои като пренаписване, а не като продължение на инструкция.
Коментарите могат да запазят неправилни обосновки толкова лесно, колкото и правилните. Следователно екипите трябва да тестват структуриран произход срещу алтернативи като свързани проблеми, неуспешни регресионни тестове, дати на изтичане, полета за собственост или автоматизирани проверки, които маркират дублирани и противоречиви директиви. Най-безопасният работен процес би предлагал премахвания, показвал доказателствата и засегнатите тестове и изисквал преглед за правила с голямо въздействие, вместо да позволява на агент да съкращава инструкции единствено за запазване на токени.
Полезни последващи доказателства ще измерват резултатите от край до край: бърз размер, съответствие с инструкциите, успех на задачата, регресии, време за преглед и брой правила, възстановени след изтриване. Изследователите също така трябва да тестват дали моделите действително използват обосновъчни коментари по предназначение или понякога ги бъркат с допълнителни изисквания. Докато не пристигнат тези резултати, катастрофалното запомняне е добре подкрепено описание на набора от данни и експериментите на авторите, а не универсален закон или причина за изтриване на едро на зрели насоки за проекти.