Рефлексия и самокорректирующие агенты
Рефлексия — это метод, при котором ИИ-агент письменно размышляет о своих неудачах и использует эти уроки в своей следующей попытке.
Обзор
Рефлексия — это метод, при котором ИИ-агент письменно размышляет о своих неудачах и использует эти уроки в своей следующей попытке. Это важно, поскольку позволяет агентам улучшить выполнение задачи без переобучения базовой модели.
Агенты рефлексии и самокоррекции ориентированы на практическое развертывание: превращение возможностей модели в надежные ежедневные рабочие процессы, приносящие измеримую ценность.
Глубокое погружение
Рефлексия, представленная в статье Шинна и его коллег в 2023 году, дает агенту цикл: он пытается выполнить задачу, получает сигнал о том, как он справился (результат теста, награда или критика), затем пишет короткую «рефлексию» на естественном языке, объясняющую, что пошло не так и что попробовать дальше. Это отражение сохраняется в памяти и добавляется к приглашению следующей попытки. Важно отметить, что вес модели никогда не меняется; обучение происходит полностью в контекстном окне в виде текста. Такое «обучение с вербальным подкреплением» позволяет агентам решать проблемы кодирования, веб-навигации и рассуждения. В тесте кодирования HumanEval самокоррекция в стиле Reflexion значительно увеличила процент проходимости по сравнению с однократными попытками, просто позволяя агенту отлаживать свои собственные ошибки за несколько попыток.
Техническая информация
Рефлексия разделяет три роли: актер, который генерирует действия, оценщик, который оценивает результат (модульные тесты, проверка на точное соответствие или судья LLM), и модель саморефлексии, которая превращает этот результат в текстовый урок. Урок сохраняется в буфере эпизодической памяти, который повторно используется при следующем испытании. Поскольку обратная связь — это язык, а не градиенты, обучение графического процессора не требуется, но оно во многом зависит от надежного оценочного сигнала, позволяющего избежать усиления уверенных, но неправильных размышлений.
Овладение рефлексией и самокорректирующими агентами
Чтобы добиться глубокого понимания, рассматривайте рефлексию и самокорректирующиеся агенты как операционную модель, а не как отдельную функцию. Определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие агенты рефлексии и самокорректировки, сосредотачиваются на результатах рабочего процесса, а не на моделировании демонстраций, и заранее определяют контрольные точки для людей. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты. В то же время автоматизация сломанного процесса может усугубить существующие проблемы. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты.
Проектирование на уровне приложения определяет, улучшит ли ИИ реальные результаты. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять.
Хорошая интеграция рабочих процессов обеспечивает повышение производительности, которому пользователи могут доверять. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения.
Хорошо продуманные варианты использования снижают усталость от изменений и риск внедрения. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Агент кодирования, который запускает модульные тесты, считывает ошибочное утверждение, записывает заметку об ошибке и редактирует свой код перед повторным запуском пакета.
Ассистент-исследователь, который улавливает галлюцинаторную цитату, когда проверка не удалась, затем корректирует ответ, чтобы использовать только проверенные источники.
Агент веб-навигации (например, в тестах AlfWorld или WebShop), который записывает сообщение «Я нажал неправильный фильтр» и позволяет избежать этой ошибки при повторной попытке.
Средство решения математических задач, которое проверяет свой окончательный ответ на соответствие ограничению, замечает ошибку знака и переделывает соответствующий шаг.
Шаблоны реализации
Рефлексия и самокорректирующие агенты на практике
Агент кодирования, который запускает модульные тесты, считывает ошибочное утверждение, записывает заметку об ошибке и редактирует свой код перед повторным запуском пакета.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Рефлексия и самокорректирующие агенты на практике
Ассистент-исследователь, который улавливает галлюцинаторную цитату, когда проверка не удалась, затем корректирует ответ, чтобы использовать только проверенные источники.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Рефлексия и самокорректирующие агенты на практике
Агент веб-навигации (например, в тестах AlfWorld или WebShop), который записывает сообщение «Я нажал неправильный фильтр» и позволяет избежать этой ошибки при повторной попытке.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Рефлексия и самокорректирующие агенты на практике
Средство решения математических задач, которое проверяет свой окончательный ответ на соответствие ограничению, замечает ошибку знака и переделывает соответствующий шаг.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Автоматизация сломанного процесса может усугубить существующие проблемы.
Команды могут чрезмерно автоматизировать и исключить необходимое человеческое суждение.
Качество может ухудшиться, если результаты не будут оцениваться постоянно.
Дорожная карта реализации
Составьте карту текущего рабочего процесса и определите этап, вызывающий наибольшие затруднения.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Определите человеческие контрольно-пропускные пункты перед полной автоматизацией.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Обучайте пользователей подсказкам, путям эскалации и стандартам качества.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Отслеживайте результаты на уровне задач, чтобы подтвердить устойчивую ценность.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Продолжайте исследовать
Check your understanding
Test yourself: take the Reflexion and Self-Correcting Agents quiz