Рефлексия и самокоригиращи агенти
Рефлексията е техника, при която AI агент разсъждава писмено върху собствените си неуспехи и захранва тези уроци обратно в следващия си опит.
Преглед
It matters because it lets agents improve on a task without retraining the underlying model.
Дълбоко гмуркане
Рефлексията, въведена в документ от 2023 г. от Shinn и колегите, дава на агент цикъл: той се опитва да изпълни задача, получава сигнал за това как се е справила (резултат от тест, награда или критика), след което пише кратко „отражение“ на естествен език, обясняващо какво се е объркало и какво да опита след това. Това отражение се съхранява в паметта и се добавя към подканата за следващия опит. Най-важното е, че теглото на модела никога не се променя; обучението се случва изцяло в контекстния прозорец като текст. Това „учене с вербално подсилване“ позволява на агентите да повтарят проблемите с кодирането, уеб навигацията и задачите за разсъждение. При бенчмарка за кодиране на HumanEval самокорекцията в стил Reflexion повиши честотата на преминаване значително по-високо от еднократните опити, просто като позволи на агента да отстрани грешките си в няколко опита.
Техническа информация
Reflexion разделя три роли: актьор, който генерира действия, оценител, който оценява резултата (единични тестове, проверка на точно съвпадение или съдия на LLM) и модел на саморефлексия, който превръща този резултат в текстов урок. Урокът попада в епизодичен буфер на паметта, използван повторно при следващия опит. Тъй като обратната връзка е по-скоро език, отколкото градиенти, не е необходимо обучение на GPU, но зависи в голяма степен от надежден сигнал за оценка, за да се избегне подсилване на уверени, но грешни отражения.
Стратегическо въздействие
Build choices
Дизайнът на ниво приложение определя дали AI подобрява реалните резултати.
Team and workflow
Добрата интеграция на работния процес създава печалби в производителността, на които потребителите могат да се доверят.
Risk and safety
Добре обхванатите случаи на употреба намаляват умората от промяна и риска от внедряване.
Бъдещето на рефлексията и самокоригиращите агенти
Самокорекцията се превръща в слой по подразбиране в агентските рамки, а не в изследователски трик. Очаквайте по-тясна интеграция с автоматизирани верификатори, като кодови пясъчници, формални проверки и извличане, което потвърждава факти, така че отраженията да се основават на обективни сигнали, вместо самият модел да се досеща. Отворените предизвикателства са избягването на цикли, при които агентът безкрайно „поправя“ работния изход, решава кога да спре повторенията и предотвратява преминаването на отраженията в правдоподобно звучащи, но непроверени рационализации.
Внедряване в реалния свят
Кодиращ агент, който изпълнява модулни тестове, чете неуспешното твърдение, пише бележка за грешката и редактира своя код, преди да стартира отново пакета.
Научен сътрудник, който улавя халюциниран цитат, когато проверката за извличане е неуспешна, след което преразглежда отговора, за да използва само проверени източници.
Агент за уеб навигация (напр. на AlfWorld или WebShop бенчмаркове), който записва „Щракнах върху грешен филтър“ и избягва тази грешка при повторен опит.
Инструмент за решаване на математически проблеми, който проверява крайния си отговор спрямо ограничение, забелязва грешка в знака и преработва съответната стъпка.
Рискове и предпазни огради
Автоматизирането на счупен процес може да засили съществуващите проблеми.
Екипите могат да автоматизират прекалено и да премахнат необходимата човешка преценка.
Качеството може да се промени, ако резултатите не се оценяват непрекъснато.
Пътна карта за изпълнение
Картирайте текущия работен процес и идентифицирайте стъпката с най-голямо триене.
Определете човешки контролни точки преди пълна автоматизация.
Обучете потребителите на подкани, пътища за ескалация и стандарти за качество.
Проследявайте резултатите на ниво задача, за да потвърдите устойчива стойност.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Саморефлексия в Agent Loops
Frequently asked questions
What is Reflexion and Self-Correcting Agents?
Рефлексията е техника, при която AI агент разсъждава писмено върху собствените си неуспехи и захранва тези уроци обратно в следващия си опит. Има значение, защото позволява на агентите да подобрят дадена задача, без да преквалифицират базовия модел.
Каква е определящата характеристика за това как агентът на Reflexion „учи“?
Рефлексията понякога се нарича „учене с вербално подсилване“, тъй като уроците се съхраняват като текст на естествен език в паметта, а не кодирани в параметрите на модела.
В рамките на Reflexion какво прави оценителят?
Оценителят (единичен тест, проверка за точно съвпадение или LLM съдия) произвежда сигнал, че стъпката за саморефлексия се превръща в текстов урок.
Защо качеството на сигнала за оценка има толкова голямо значение в Reflexion?
Ако оценителят е ненадежден, агентът може да напише уверени разсъждения въз основа на лоша обратна връзка, насочвайки бъдещи опити в грешна посока.
На кой бенчмарк самокорекцията в стил Reflexion подобри значително скоростта на кодиране?
HumanEval е бенчмарк за генериране на код и позволяването на агента да отстранява грешки в множество опити повиши честотата на преминаване доста над производителността на един изстрел.
Кой е истински открит риск със самокоригиращи се агенти?
Без добро правило за спиране агентът може да продължи да преразглежда правилните отговори, да губи изчисления и понякога да влошава добрия резултат.