Преглед
Рефлексията е техника, при която AI агент разсъждава писмено върху собствените си неуспехи и захранва тези уроци обратно в следващия си опит. Има значение, защото позволява на агентите да подобрят дадена задача, без да преквалифицират базовия модел.
Reflexion and Self-Correcting Agents се фокусира върху практическото внедряване: превръщане на възможностите на модела в надеждни ежедневни работни процеси, които осигуряват измерима стойност.
Дълбоко гмуркане
Рефлексията, въведена в документ от 2023 г. от Shinn и колегите, дава на агент цикъл: той се опитва да изпълни задача, получава сигнал за това как се е справила (резултат от тест, награда или критика), след което пише кратко „отражение“ на естествен език, обясняващо какво се е объркало и какво да опита след това. Това отражение се съхранява в паметта и се добавя към подканата за следващия опит. Най-важното е, че теглото на модела никога не се променя; обучението се случва изцяло в контекстния прозорец като текст. Това „учене с вербално подсилване“ позволява на агентите да повтарят проблемите с кодирането, уеб навигацията и задачите за разсъждение. При бенчмарка за кодиране на HumanEval самокорекцията в стил Reflexion повиши честотата на преминаване значително по-високо от еднократните опити, просто като позволи на агента да отстрани грешките си в няколко опита.
Техническа информация
Reflexion разделя три роли: актьор, който генерира действия, оценител, който оценява резултата (единични тестове, проверка на точно съвпадение или съдия на LLM) и модел на саморефлексия, който превръща този резултат в текстов урок. Урокът попада в епизодичен буфер на паметта, използван повторно при следващия опит. Тъй като обратната връзка е по-скоро език, отколкото градиенти, не е необходимо обучение на GPU, но зависи в голяма степен от надежден сигнал за оценка, за да се избегне подсилване на уверени, но грешни отражения.
Овладяване на рефлексия и самокоригиращи агенти
Рефлексията е техника, при която AI агент разсъждава писмено върху собствените си неуспехи и захранва тези уроци обратно в следващия си опит. Има значение, защото позволява на агентите да подобрят дадена задача, без да преквалифицират базовия модел. Reflexion and Self-Correcting Agents се фокусира върху практическото внедряване: превръщане на възможностите на модела в надеждни ежедневни работни процеси, които осигуряват измерима стойност. За да изградите дълбоко разбиране, третирайте Reflexion и Self-Correcting Agents като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно от това, което все още изисква експертна преценка.
На практика силните екипи, използващи Reflexion и Self-Correcting Agents, се фокусират върху резултатите от работния процес, а не върху демонстрациите на модели и определят човешки контролни точки на ранен етап. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Дизайнът на ниво приложение определя дали AI подобрява реалните резултати. В същото време автоматизирането на повреден процес може да засили съществуващите проблеми. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Дизайнът на ниво приложение определя дали AI подобрява реалните резултати.
Дизайнът на ниво приложение определя дали AI подобрява реалните резултати. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Добрата интеграция на работния процес създава печалби в производителността, на които потребителите могат да се доверят.
Добрата интеграция на работния процес създава печалби в производителността, на които потребителите могат да се доверят. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Добре обхванатите случаи на употреба намаляват умората от промяна и риска от внедряване.
Добре обхванатите случаи на употреба намаляват умората от промяна и риска от внедряване. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Кодиращ агент, който изпълнява модулни тестове, чете неуспешното твърдение, пише бележка за грешката и редактира своя код, преди да стартира отново пакета.
Научен сътрудник, който улавя халюциниран цитат, когато проверката за извличане е неуспешна, след което преразглежда отговора, за да използва само проверени източници.
Агент за уеб навигация (напр. на AlfWorld или WebShop бенчмаркове), който записва „Щракнах върху грешен филтър“ и избягва тази грешка при повторен опит.
Инструмент за решаване на математически проблеми, който проверява крайния си отговор спрямо ограничение, забелязва грешка в знака и преработва съответната стъпка.
Модели на изпълнение
Рефлексия и самокоригиращи агенти на практика
Кодиращ агент, който изпълнява модулни тестове, чете неуспешното твърдение, пише бележка за грешката и редактира своя код, преди да стартира отново пакета.
Кодиращ агент, който изпълнява модулни тестове, чете неуспешното твърдение, пише бележка за грешката и редактира кода си, преди да пусне отново пакета. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рефлексия и самокоригиращи агенти на практика
Научен сътрудник, който улавя халюциниран цитат, когато проверката за извличане е неуспешна, след което преразглежда отговора, за да използва само проверени източници.
Научен сътрудник, който улавя халюциниран цитат, когато проверката за извличане е неуспешна, след което преразглежда отговора, за да използва само проверени източници Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рефлексия и самокоригиращи агенти на практика
Агент за уеб навигация (напр. на AlfWorld или WebShop бенчмаркове), който записва „Щракнах върху грешен филтър“ и избягва тази грешка при повторен опит.
Агент за уеб-навигация (напр. в референтните показатели на AlfWorld или WebShop), който записва „Щракнах върху грешен филтър“ и избягва тази грешка при повторен опит. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рефлексия и самокоригиращи агенти на практика
Инструмент за решаване на математически проблеми, който проверява крайния си отговор спрямо ограничение, забелязва грешка в знака и преработва съответната стъпка.
Устройство за решаване на математически проблеми, което проверява окончателния си отговор спрямо ограничение, забелязва грешка в знака и преработва съответната стъпка. Екипите обикновено получават по-добри резултати, когато дефинират праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Автоматизирането на счупен процес може да засили съществуващите проблеми.
Екипите могат да автоматизират прекалено и да премахнат необходимата човешка преценка.
Качеството може да се промени, ако резултатите не се оценяват непрекъснато.
Пътна карта за изпълнение
Картирайте текущия работен процес и идентифицирайте стъпката с най-голямо триене.
Картирайте текущия работен процес и идентифицирайте стъпката с най-голямо триене. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Определете човешки контролни точки преди пълна автоматизация.
Определете човешки контролни точки преди пълна автоматизация. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Обучете потребителите на подкани, пътища за ескалация и стандарти за качество.
Обучете потребителите на подкани, пътища за ескалация и стандарти за качество. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Проследявайте резултатите на ниво задача, за да потвърдите устойчива стойност.
Проследявайте резултатите на ниво задача, за да потвърдите устойчива стойност. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.