Рефлексия и самокорректирующие агенты
Рефлексия — это метод, при котором ИИ-агент письменно размышляет о своих неудачах и использует эти уроки в своей следующей попытке.
Обзор
Это важно, потому что позволяет агентам улучшать задачу без переобучения базовой модели.
Глубокое погружение
Рефлексия, представленная в статье Шинна и его коллег в 2023 году, дает агенту цикл: он пытается выполнить задачу, получает сигнал о том, как он справился (результат теста, награда или критика), затем пишет короткую «рефлексию» на естественном языке, объясняющую, что пошло не так и что попробовать дальше. Это отражение сохраняется в памяти и добавляется к приглашению следующей попытки. Важно отметить, что вес модели никогда не меняется; обучение происходит полностью в контекстном окне в виде текста. Такое «обучение с вербальным подкреплением» позволяет агентам решать проблемы кодирования, веб-навигации и рассуждения. В тесте кодирования HumanEval самокоррекция в стиле Reflexion значительно увеличила процент проходимости по сравнению с однократными попытками, просто позволяя агенту отлаживать свои собственные ошибки за несколько попыток.
Техническая информация
Рефлексия разделяет три роли: актер, который генерирует действия, оценщик, который оценивает результат (модульные тесты, проверка на точное соответствие или судья LLM), и модель саморефлексии, которая превращает этот результат в текстовый урок. Урок сохраняется в буфере эпизодической памяти, который повторно используется при следующем испытании. Поскольку обратная связь — это язык, а не градиенты, обучение графического процессора не требуется, но оно во многом зависит от надежного оценочного сигнала, позволяющего избежать усиления уверенных, но неправильных размышлений.
Стратегическое воздействие
Выбор сборки
Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
Команда и рабочий процесс
Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
Риски и безопасность
Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.
Будущее рефлексии и самокорректирующих агентов
Самокоррекция становится уровнем по умолчанию в структурах агентов, а не исследовательским приемом. Ожидайте более тесной интеграции с автоматическими средствами проверки, такими как песочницы кода, формальные средства проверки и поиск, подтверждающий факты, чтобы размышления основывались на объективных сигналах, а не на догадках самой модели. Открытые проблемы заключаются в том, чтобы избежать циклов, в которых агент бесконечно «исправляет» рабочие результаты, решая, когда прекратить итерацию, и предотвращая переход размышлений в правдоподобно звучащие, но непроверенные рационализации.
Реальная реализация
Агент кодирования, который запускает модульные тесты, считывает ошибочное утверждение, записывает заметку об ошибке и редактирует свой код перед повторным запуском пакета.
Ассистент-исследователь, который улавливает галлюцинаторную цитату, когда проверка не удалась, затем корректирует ответ, чтобы использовать только проверенные источники.
Агент веб-навигации (например, в тестах AlfWorld или WebShop), который записывает сообщение «Я нажал неправильный фильтр» и позволяет избежать этой ошибки при повторной попытке.
Средство решения математических задач, которое проверяет свой окончательный ответ на соответствие ограничению, замечает ошибку знака и переделывает соответствующий шаг.
Риски и ограничения
Автоматизация сломанного процесса может усугубить существующие проблемы.
Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
Качество может ухудшиться, если результаты не будут оцениваться постоянно.
Дорожная карта реализации
Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reflexion and Self-Correcting Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Саморефлексия в циклах агентов
Часто задаваемые вопросы
Что такое рефлексия и самокорректирующие агенты?
Рефлексия — это метод, при котором ИИ-агент письменно размышляет о своих неудачах и использует эти уроки в своей следующей попытке. Это важно, поскольку позволяет агентам улучшить выполнение задачи без переобучения базовой модели.
Какова определяющая характеристика того, как «обучается» агент рефлексии?
Рефлексию иногда называют «обучением с вербальным подкреплением», поскольку уроки сохраняются в памяти в виде текста на естественном языке, а не кодируются в параметрах модели.
Что делает оценщик в рамках рефлексии?
Оценщик (модульный тест, проверка на точное соответствие или судья LLM) подает сигнал, что этап саморефлексии превращается в текстовый урок.
Почему качество оценочного сигнала так важно в Reflexion?
Если оценщик ненадежен, агент может писать уверенные размышления, основанные на плохой обратной связи, направляя будущие попытки в неправильном направлении.
В каком тесте самокоррекция в стиле Reflexion заметно улучшила показатели прохождения кода?
HumanEval — это тест для генерации кода, который позволяет агенту отлаживать несколько попыток, что значительно повышает скорость прохождения теста при одиночном тестировании.
Какой риск является подлинным открытым для самокорректирующихся агентов?
Без хорошего правила остановки агент может продолжать пересматривать правильные ответы, тратя впустую вычислительные ресурсы и иногда ухудшая качество результатов.