Техническое РУКОВОДСТВО

Агентские леса и ремни безопасности

Служба агента, или эшафот, — это код языковой модели, который превращает ее в агент: он запускает цикл вызова модели, выполнения запрошенных ею инструментов, возврата результатов и принятия решения о том, когда остановиться.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее агентских лесов и средств связи
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку система сильно влияет на результаты, поэтому одна и та же модель может получить очень разные оценки в одном и том же тесте в зависимости от того, как спроектированы ее инструменты, контекст и обработка ошибок.

Глубокое погружение

Языковая модель сама по себе создает текст. Агенту нужна программа, которая постоянно спрашивает модель, что делать, выполняет действие и показывает модели, что произошло. Эта программа и есть подвеска. Его основными частями являются цикл, определения инструментов, диспетчеризация инструментов, управление контекстом, правила остановки и обработка ошибок. Цикл отправляет разговор модели. Если модель запрашивает инструмент, программа проверяет аргументы, запускает инструмент и добавляет результат. Если модель дает окончательный ответ, цикл завершается. Правила остановки добавляют ограничения: максимальное количество шагов, токен или бюджет затрат, тайм-аут или проверку, например прохождение тестов. Дизайн инструмента имеет большой эффект. Проект SWE-агента исследователей из Принстона, опубликованный в 2024 году, утверждал, что агентам нужен интерфейс агент-компьютер, разработанный для моделей, с краткими средствами просмотра файлов, командами поиска и немедленной обратной связью о неправильных изменениях, и показал, что это улучшает результаты по сравнению с простой оболочкой модели. Форматирование выходных данных также имеет значение: усечение огромных выходных данных, четкое суммирование ошибок и возврат структурированных результатов помогают модели работать правильно. Управление контекстом решает, что видит модель по мере роста истории: сохранение последних шагов, обобщение старых или сохранение примечаний в файлах. Обработка ошибок решает, приведет ли неудачный вызов инструмента к сбою выполнения или будет возвращен модели в качестве информации, на которую она может отреагировать. Вот почему контрольные цифры нуждаются в контексте. В тестах кодирования, таких как SWE-bench, сообщаемые оценки для одной модели различаются в зависимости от шаблонов, политик повторных попыток и ограничений количества шагов. Распространенным заблуждением является то, что число лидеров измеряет только модель; он измеряет модель, подвеску и настройки. Такие продукты, как агенты кодирования с использованием командной строки, по большей части представляют собой тщательно спроектированные средства разработки модели.

Реальная реализация

Инструментарий агента кодирования предоставляет модели инструменты для просмотра файлов, редактирования определенных диапазонов строк и запуска тестов, а затем циклически работает до тех пор, пока тесты не пройдут или не будет достигнут предел шага.

Ремень ассистента-исследователя останавливает цикл после 20 вызовов инструмента и запрашивает у модели сводку с источниками, предотвращая неконтролируемые расходы.

Команда заменяет необработанный инструмент оболочки редактором файлов, который показывает короткое окно со строками и немедленно сообщает о синтаксических ошибках, а уровень успеха их агента при выполнении внутренних задач повышается без изменения модели.

Служба агента по работе с клиентами перехватывает любой вызов средства возврата средств, превышающий установленную сумму, и делает паузу для одобрения человеком перед его выполнением.

Будущее агентских лесов и средств связи

Поставщики моделей все чаще поставляют свои собственные агентские продукты и комплекты разработки программного обеспечения, которые стандартизируют некоторые шаблоны использования, такие как схемы инструментов, разрешения и сжатие контекста. Протоколы подключения инструментов к моделям, такие как протокол контекста модели, делают интеграцию инструментов более многоразовой. Конструкция подвески, вероятно, останется значимым источником различий в производительности, и оценки движутся к тому, чтобы сообщать о строительных лесах вместе с моделью. Для строителей тщательная конструкция инструмента, четкие правила остановки и хорошая регистрация будут иметь значение независимо от того, какая модель находится под ним.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Agent Scaffolding and Harnesses quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое агентские леса и ремни безопасности?

Служба агента, или эшафот, — это код языковой модели, который превращает ее в агент: он запускает цикл вызова модели, выполнения запрошенных ею инструментов, возврата результатов и принятия решения о том, когда остановиться. Это важно, поскольку система сильно влияет на результаты, поэтому одна и та же модель может получить очень разные оценки в одном и том же тесте в зависимости от того, как спроектированы ее инструменты, контекст и обработка ошибок.

Что такое агентский комплект?

Жгут — это окружающая программа, которая превращает модель, генерирующую текст, в агента.

Какой пример правила остановки?

Правила остановки завершают цикл на основе таких ограничений, как количество шагов, бюджеты, тайм-ауты или проверки успеха.

На чем акцентировался проект SWE-агент?

Агент SWE утверждает, что инструменты, предназначенные для моделей, улучшают результаты по сравнению с простой оболочкой.

Почему одна и та же модель может иметь разную оценку на SWE-bench в разных отчетах?

Эталонный балл измеряет всю систему, а не только модель.

Как обычно ремень безопасности обрабатывает неудачный вызов инструмента?

Возврат ошибок, требующих действий, позволяет модели исправить свой подход, а не завершать выполнение.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →