ДалееСледующее руководство
Рефлексия и самокорректирующие агенты
Приложения
Техническое РУКОВОДСТВО
Саморефлексия в циклах агентов
Саморефлексия позволяет агенту ИИ анализировать свои результаты и действия в середине задачи, а затем вносить изменения на основе этой критики.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он превращает одноразового угадывателя в систему, которая сама замечает и исправляет свои ошибки.
Глубокое погружение
В цикле агента языковая модель выполняет действия (вызов инструментов, написание кода, ответ), наблюдает за результатами и решает, что делать дальше. Саморефлексия добавляет осознанный шаг, на котором модель оценивает свою недавнюю работу, прежде чем продолжить. Такие структуры, как Reflexion (2023), делают это конкретным: после неудачной попытки агент пишет короткую словесную критику («Я забыл обработать случай с пустым списком») и сохраняет ее в памяти, поэтому следующая попытка зависит от этого урока. Self-Refine использует ту же модель для генерации обратной связи, а затем итеративно переписывает свой ответ. Рефлексия может возникнуть в результате сравнения результатов с целью, проверки сообщений об ошибках или выполнения тестов. Результатом является более высокая надежность при выполнении многоэтапных задач, таких как программирование, веб-навигация и математика, где один проход часто терпит неудачу, но цикл критики и повторения успешен.
Реальная реализация
Агент кодирования запускает неудачный модульный тест, считывает обратную трассировку, записывает отражение, отмечающее ошибку отклонения на единицу, и переписывает функцию на следующей итерации цикла.
Агент веб-просмотра, который щелкнул неправильную ссылку, размышляет о странице, на которую он попал, распознает несоответствие своей цели и возвращается, чтобы попробовать другую ссылку.
Ассистент-исследователь готовит ответ, критикует его на предмет необоснованных утверждений и вносит правки, добавляя цитаты или защищая от неопределенных утверждений, прежде чем вернуть его.
Агент, решающий математические задачи, проверяет свой окончательный ответ на соответствие ограничениям задачи, замечает несоответствие единиц измерения и переделывает расчет вместо того, чтобы отправлять ошибочный результат.
Будущее саморефлексии в циклах агентов
Ожидайте, что отражение станет встроенным примитивом агента, а не подсказкой, с моделями, обученными понимать, когда отражение стоит дополнительных токенов, а когда оно просто сжигает вычислительные ресурсы. Модели верификаторов и обратная связь по исполнению будут все больше укреплять самокритику, чтобы агенты перестали галлюцинировать, что неправильные ответы являются правильными. Исследования также нацелены на режим неудачи, когда модели уверенно подтверждают плохую работу, стремясь к выверенному, основанному на фактических данных размышлению и выученным критериям остановки цикла.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Self-Reflection in Agent Loops quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое саморефлексия в Agent Loops?
Саморефлексия позволяет агенту ИИ анализировать свои результаты и действия в середине задачи, а затем вносить изменения на основе этой критики. Он превращает однократного угадывателя в систему, которая выявляет и исправляет свои собственные ошибки.
Что саморефлексия добавляет к стандартному циклу агента?
Саморефлексия включает этап оценки, на котором агент критикует свои недавние действия или результаты и использует эту критику для руководства своим следующим шагом.
Где в рамках Reflexion хранится самокритика модели?
Рефлексия сохраняет вербальную самокритику в буфере эпизодической памяти и вводит ее в контекст последующих испытаний, поэтому обучение происходит в контексте, а не посредством обновления весов.
Какой сигнал обратной связи для отражения наиболее надежен?
Обоснованные внешние сигналы, такие как неудачные тесты или ошибки во время выполнения, дают конкретную, заслуживающую доверия обратную связь, тогда как чисто самостоятельная критика может быть ошибочной.
Каков известный способ саморефлексии?
Без обоснованной обратной связи модели иногда проверяют ошибочную работу и ошибочно приходят к выводу, что все в порядке, поэтому важна внешняя проверка.
Как метод самосовершенствования обычно генерирует обратную связь?
Self-Refine использует одну модель, которая оставляет отзывы о своем черновике, а затем итеративно пересматривает выходные данные, используя эти отзывы.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме