ДалееСледующее руководство
Превращение спецификаций OpenAPI в инструменты LLM
Технический
Техническое РУКОВОДСТВО
Разработка инструментов для агентов LLM означает написание имен, описаний, схем параметров, выходных данных и сообщений об ошибках, которые считывает языковая модель, чтобы решить, какую функцию вызывать и как ее вызывать.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Модель никогда не видит ваш код, только этот текст, поэтому расплывчатое описание или небрежная схема приводят к неправильным вызовам так же надежно, как и ошибка.
Определение инструмента состоит из четырех частей, от которых зависит модель: имя, описание на естественном языке, входная схема (обычно схема JSON) и текст, который инструмент отправляет обратно. Каждый из них работает как подсказка. Модель решает, следует ли вызывать инструмент, сопоставляя цель пользователя с описаниями, и заполняет аргументы, используя имена, типы, перечисления и примеры параметров. Хорошие имена конкретны и сгруппированы. Такие префиксы, как github_create_issue и jira_create_issue, разделяют инструменты, когда агент подключается ко многим сервисам. В хороших описаниях рассказывается, что делает инструмент, когда его использовать, а когда нет и что он возвращает, как если бы вы информировали нового коллегу. Параметры должны говорить то, что они означают: user_id лучше, чем id, а перечисление разрешенных значений превосходит строку произвольного текста, которую модель должна угадать. Выходы имеют такое же значение, как и входы. Возврат тысяч строк или необработанных внутренних идентификаторов заполняет контекстное окно и скрывает важную информацию. Лучшие инструменты возвращают читаемые поля, разбивают на страницы или усекают по умолчанию, а иногда предлагают краткий или подробный режим. Сообщения об ошибках должны сообщать модели, что пошло не так и что делать дальше, потому что модель прочитает их и отреагирует на них. Одно распространенное заблуждение состоит в том, что больше инструментов означает более способного агента. Каждое определение на каждом шагу требует контекста, а перекрывающиеся инструменты усложняют выбор. Точность имеет тенденцию падать по мере увеличения списка инструментов, особенно когда инструменты выглядят одинаково. Никакого универсального ограничения не применяется. Многие специалисты-практики начинают видеть проблемы где-то в десятках инструментов, и обычными исправлениями являются консолидация инструментов, загрузка их по требованию или разделение работы между специализированными агентами. Еще одно заблуждение заключается в том, что инструменты должны полностью отражать существующий API. Агенты обычно работают лучше, используя меньшее количество инструментов более высокого уровня, ориентированных на задачи, которые фактически выполняют люди.
У агента службы поддержки было два инструмента: search_orders и get_order. Переименовав ихorders_search_by_customer иorders_get_by_id и указав в каждом описании, когда использовать другой, вы сократите количество вызовов, отправленных не к тому инструменту.
Инструмент календаря, который использовал поле даты с произвольным текстом, продолжал получать сообщение «следующий вторник». Изменение схемы так, чтобы она требовала строки даты ISO 8601 с примером в описании, устранило целый класс ошибок синтаксического анализа.
Инструмент базы данных, который раньше возвращал необработанную ошибку «Ошибка 1064», теперь возвращает «Столбец созданной_даты не существует». Доступные столбцы даты: создано_в, обновлено_в.' Агент исправляет свой запрос при следующей попытке, не сдаваясь.
Команда предоставила одному агенту 60 почти повторяющихся оболочек конечных точек. Объединение их с дюжиной инструментов уровня задач, таких как Schedule_meeting вместо отдельных вызовов list_users, find_free_slots и create_event, сделало работу агента быстрее и дешевле.
Проектирование инструментов становится отдельной дисциплиной с опубликованными рекомендациями поставщиков моделей и общими соглашениями, распространяющимися через такие протоколы, как протокол контекста модели. Некоторые платформы теперь могут искать и загружать определения инструментов по запросу, что облегчает необходимость делать списки короткими, хотя описания по-прежнему должны быть достаточно ясными, чтобы их можно было найти и выбрать. Модели также используются для критики и переписывания описаний инструментов на основе стенограмм оценок. Основное правило вряд ли изменится: модель может использовать только тот инструмент, который объясняется ее интерфейсом, поэтому четкое наименование, строгие схемы и полезные ошибки останутся в центре внимания.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Разработка инструментов для агентов LLM означает написание имен, описаний, схем параметров, выходных данных и сообщений об ошибках, которые считывает языковая модель, чтобы решить, какую функцию вызывать и как ее вызывать. Модель никогда не видит ваш код, только этот текст, поэтому расплывчатое описание или небрежная схема приводят к неправильным вызовам так же надежно, как и ошибка.
Модель никогда не видит реализации. Он работает только из текстового интерфейса: имя, описание, входная схема и все, что инструмент отправляет обратно.
Пространство имен сообщает модели, к какому сервису принадлежит инструмент. Это имеет значение, когда несколько сервисов предлагают схожие действия.
Перечисления и описательные имена исключают догадки. Модель выбирает из допустимых вариантов вместо того, чтобы изобретать формат.
Модель считывает ошибку и решает, что делать дальше. Сообщение с указанием проблемы и исправления позволяет устранить ее при следующем вызове.
Каждое определение отправляется с каждым запросом, который использует контекст. Похожие на вид инструменты также затрудняют выбор модели.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Превращение спецификаций OpenAPI в инструменты LLM
Технический