ДалееСледующее руководство
Песочницы выполнения кода для агентов
Технический
Техническое РУКОВОДСТВО
Служба агента, или эшафот, — это код языковой модели, который превращает ее в агент: он запускает цикл вызова модели, выполнения запрошенных ею инструментов, возврата результатов и принятия решения о том, когда остановиться.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку система сильно влияет на результаты, поэтому одна и та же модель может получить очень разные оценки в одном и том же тесте в зависимости от того, как спроектированы ее инструменты, контекст и обработка ошибок.
Языковая модель сама по себе создает текст. Агенту нужна программа, которая постоянно спрашивает модель, что делать, выполняет действие и показывает модели, что произошло. Эта программа и есть подвеска. Его основными частями являются цикл, определения инструментов, диспетчеризация инструментов, управление контекстом, правила остановки и обработка ошибок. Цикл отправляет разговор модели. Если модель запрашивает инструмент, программа проверяет аргументы, запускает инструмент и добавляет результат. Если модель дает окончательный ответ, цикл завершается. Правила остановки добавляют ограничения: максимальное количество шагов, токен или бюджет затрат, тайм-аут или проверку, например прохождение тестов. Дизайн инструмента имеет большой эффект. Проект SWE-агента исследователей из Принстона, опубликованный в 2024 году, утверждал, что агентам нужен интерфейс агент-компьютер, разработанный для моделей, с краткими средствами просмотра файлов, командами поиска и немедленной обратной связью о неправильных изменениях, и показал, что это улучшает результаты по сравнению с простой оболочкой модели. Форматирование выходных данных также имеет значение: усечение огромных выходных данных, четкое суммирование ошибок и возврат структурированных результатов помогают модели работать правильно. Управление контекстом решает, что видит модель по мере роста истории: сохранение последних шагов, обобщение старых или сохранение примечаний в файлах. Обработка ошибок решает, приведет ли неудачный вызов инструмента к сбою выполнения или будет возвращен модели в качестве информации, на которую она может отреагировать. Вот почему контрольные цифры нуждаются в контексте. В тестах кодирования, таких как SWE-bench, сообщаемые оценки для одной модели различаются в зависимости от шаблонов, политик повторных попыток и ограничений количества шагов. Распространенным заблуждением является то, что число лидеров измеряет только модель; он измеряет модель, подвеску и настройки. Такие продукты, как агенты кодирования с использованием командной строки, по большей части представляют собой тщательно спроектированные средства разработки модели.
Инструментарий агента кодирования предоставляет модели инструменты для просмотра файлов, редактирования определенных диапазонов строк и запуска тестов, а затем циклически работает до тех пор, пока тесты не пройдут или не будет достигнут предел шага.
Ремень ассистента-исследователя останавливает цикл после 20 вызовов инструмента и запрашивает у модели сводку с источниками, предотвращая неконтролируемые расходы.
Команда заменяет необработанный инструмент оболочки редактором файлов, который показывает короткое окно со строками и немедленно сообщает о синтаксических ошибках, а уровень успеха их агента при выполнении внутренних задач повышается без изменения модели.
Служба агента по работе с клиентами перехватывает любой вызов средства возврата средств, превышающий установленную сумму, и делает паузу для одобрения человеком перед его выполнением.
Поставщики моделей все чаще поставляют свои собственные агентские продукты и комплекты разработки программного обеспечения, которые стандартизируют некоторые шаблоны использования, такие как схемы инструментов, разрешения и сжатие контекста. Протоколы подключения инструментов к моделям, такие как протокол контекста модели, делают интеграцию инструментов более многоразовой. Конструкция подвески, вероятно, останется значимым источником различий в производительности, и оценки движутся к тому, чтобы сообщать о строительных лесах вместе с моделью. Для строителей тщательная конструкция инструмента, четкие правила остановки и хорошая регистрация будут иметь значение независимо от того, какая модель находится под ним.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Служба агента, или эшафот, — это код языковой модели, который превращает ее в агент: он запускает цикл вызова модели, выполнения запрошенных ею инструментов, возврата результатов и принятия решения о том, когда остановиться. Это важно, поскольку система сильно влияет на результаты, поэтому одна и та же модель может получить очень разные оценки в одном и том же тесте в зависимости от того, как спроектированы ее инструменты, контекст и обработка ошибок.
Жгут — это окружающая программа, которая превращает модель, генерирующую текст, в агента.
Правила остановки завершают цикл на основе таких ограничений, как количество шагов, бюджеты, тайм-ауты или проверки успеха.
Агент SWE утверждает, что инструменты, предназначенные для моделей, улучшают результаты по сравнению с простой оболочкой.
Эталонный балл измеряет всю систему, а не только модель.
Возврат ошибок, требующих действий, позволяет модели исправить свой подход, а не завершать выполнение.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Песочницы выполнения кода для агентов
Технический