Техническое РУКОВОДСТВО

Разработка инструментов для агентов LLM

Разработка инструментов для агентов LLM означает написание имен, описаний, схем параметров, выходных данных и сообщений об ошибках, которые считывает языковая модель, чтобы решить, какую функцию вызывать и как ее вызывать.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее разработки инструментов для агентов LLM
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Модель никогда не видит ваш код, только этот текст, поэтому расплывчатое описание или небрежная схема приводят к неправильным вызовам так же надежно, как и ошибка.

Глубокое погружение

Определение инструмента состоит из четырех частей, от которых зависит модель: имя, описание на естественном языке, входная схема (обычно схема JSON) и текст, который инструмент отправляет обратно. Каждый из них работает как подсказка. Модель решает, следует ли вызывать инструмент, сопоставляя цель пользователя с описаниями, и заполняет аргументы, используя имена, типы, перечисления и примеры параметров. Хорошие имена конкретны и сгруппированы. Такие префиксы, как github_create_issue и jira_create_issue, разделяют инструменты, когда агент подключается ко многим сервисам. В хороших описаниях рассказывается, что делает инструмент, когда его использовать, а когда нет и что он возвращает, как если бы вы информировали нового коллегу. Параметры должны говорить то, что они означают: user_id лучше, чем id, а перечисление разрешенных значений превосходит строку произвольного текста, которую модель должна угадать. Выходы имеют такое же значение, как и входы. Возврат тысяч строк или необработанных внутренних идентификаторов заполняет контекстное окно и скрывает важную информацию. Лучшие инструменты возвращают читаемые поля, разбивают на страницы или усекают по умолчанию, а иногда предлагают краткий или подробный режим. Сообщения об ошибках должны сообщать модели, что пошло не так и что делать дальше, потому что модель прочитает их и отреагирует на них. Одно распространенное заблуждение состоит в том, что больше инструментов означает более способного агента. Каждое определение на каждом шагу требует контекста, а перекрывающиеся инструменты усложняют выбор. Точность имеет тенденцию падать по мере увеличения списка инструментов, особенно когда инструменты выглядят одинаково. Никакого универсального ограничения не применяется. Многие специалисты-практики начинают видеть проблемы где-то в десятках инструментов, и обычными исправлениями являются консолидация инструментов, загрузка их по требованию или разделение работы между специализированными агентами. Еще одно заблуждение заключается в том, что инструменты должны полностью отражать существующий API. Агенты обычно работают лучше, используя меньшее количество инструментов более высокого уровня, ориентированных на задачи, которые фактически выполняют люди.

Реальная реализация

У агента службы поддержки было два инструмента: search_orders и get_order. Переименовав ихorders_search_by_customer иorders_get_by_id и указав в каждом описании, когда использовать другой, вы сократите количество вызовов, отправленных не к тому инструменту.

Инструмент календаря, который использовал поле даты с произвольным текстом, продолжал получать сообщение «следующий вторник». Изменение схемы так, чтобы она требовала строки даты ISO 8601 с примером в описании, устранило целый класс ошибок синтаксического анализа.

Инструмент базы данных, который раньше возвращал необработанную ошибку «Ошибка 1064», теперь возвращает «Столбец созданной_даты не существует». Доступные столбцы даты: создано_в, обновлено_в.' Агент исправляет свой запрос при следующей попытке, не сдаваясь.

Команда предоставила одному агенту 60 почти повторяющихся оболочек конечных точек. Объединение их с дюжиной инструментов уровня задач, таких как Schedule_meeting вместо отдельных вызовов list_users, find_free_slots и create_event, сделало работу агента быстрее и дешевле.

Будущее разработки инструментов для агентов LLM

Проектирование инструментов становится отдельной дисциплиной с опубликованными рекомендациями поставщиков моделей и общими соглашениями, распространяющимися через такие протоколы, как протокол контекста модели. Некоторые платформы теперь могут искать и загружать определения инструментов по запросу, что облегчает необходимость делать списки короткими, хотя описания по-прежнему должны быть достаточно ясными, чтобы их можно было найти и выбрать. Модели также используются для критики и переписывания описаний инструментов на основе стенограмм оценок. Основное правило вряд ли изменится: модель может использовать только тот инструмент, который объясняется ее интерфейсом, поэтому четкое наименование, строгие схемы и полезные ошибки останутся в центре внимания.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Designing Tools for LLM Agents quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое разработка инструментов для агентов LLM?

Разработка инструментов для агентов LLM означает написание имен, описаний, схем параметров, выходных данных и сообщений об ошибках, которые считывает языковая модель, чтобы решить, какую функцию вызывать и как ее вызывать. Модель никогда не видит ваш код, только этот текст, поэтому расплывчатое описание или небрежная схема приводят к неправильным вызовам так же надежно, как и ошибка.

Что на самом деле использует модель, чтобы решить, как вызвать инструмент?

Модель никогда не видит реализации. Он работает только из текстового интерфейса: имя, описание, входная схема и все, что инструмент отправляет обратно.

Почему агент может использовать такие префиксы, как github_create_issue и jira_create_issue?

Пространство имен сообщает модели, к какому сервису принадлежит инструмент. Это имеет значение, когда несколько сервисов предлагают схожие действия.

Какой дизайн параметров с наибольшей вероятностью даст правильные аргументы?

Перечисления и описательные имена исключают догадки. Модель выбирает из допустимых вариантов вместо того, чтобы изобретать формат.

Что делает хорошее сообщение об ошибке инструмента?

Модель считывает ошибку и решает, что делать дальше. Сообщение с указанием проблемы и исправления позволяет устранить ее при следующем вызове.

Почему добавление большого количества инструментов может снизить производительность агента?

Каждое определение отправляется с каждым запросом, который использует контекст. Похожие на вид инструменты также затрудняют выбор модели.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →