ДалееСледующее руководство
Параллельный вызов функций
Технический
Техническое РУКОВОДСТВО
Таблица лидеров вызовов функций Беркли оценивает производительность модели при выполнении функций и задач использования инструментов, а версии добавляют более широкие случаи, такие как многооборотная и агентная оценка.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Результат таблицы лидеров привязан к ее версии, задачам, правилам подсчета очков и настройке модели; это не полная мера надежности агента в каждом приложении.
Вызов функции позволяет модели создать структурированный запрос приложению на вызов инструмента или функции. Система должна решить, следует ли вызывать инструмент, выбирать функцию, предоставлять действительные аргументы и правильно использовать возвращаемый результат. Ошибки могут возникать в имени инструмента, значениях параметров, формате или решениях о том, когда необходим вызов. Таблица лидеров вызовов функций Беркли (BFCL) — это исследовательский эталон и общедоступная таблица лидеров для этой возможности. Текущая страница BFCL V4 описывает оценку, охватывающую одноходовые, многоходовые и агентные категории, и сообщает, что таблица лидеров периодически обновляется. В более ранних версиях была представлена оценка дерева абстрактного синтаксиса, дополнительные источники функций и многоходовые случаи. В эталонном документе сообщается о первоначальной краудсорсинговой коллекции из 64 517 реальных однооборотных запросов, собранных за определенный период; это описание относится к этому компоненту набора данных, а не к каждой категории BFCL V4. Результаты следует считывать с текущей версией и настройками отправки. Выбор модели, подсказки, схема функции, поддерживаемый язык, режим оценки, интерактивное и неживое выполнение, а также настройки стоимости/задержки могут повлиять на результаты. Модель может получить хорошие оценки при генерации вызовов функций, но при этом потерпеть неудачу в приложении, поскольку инструменты ненадежны, разрешения неверны, состояние противоречиво или приложение неправильно обрабатывает возвращаемое значение. Используйте BFCL в качестве источника сравнения, а затем создавайте тесты для конкретных приложений для ваших схем, реализаций инструментов, обработки сбоев, границ безопасности и целей пользователя. Относитесь к эталонным рейтингам как к объективным доказательствам, а не как к универсальному знаку качества.
Разработчик проверяет многоходовую категорию BFCL V4 вместо того, чтобы полагаться только на оценки одной функции.
Перед выполнением оценщик проверяет, соответствуют ли сгенерированные аргументы схеме функции.
Команда тестирует, как ее приложение реагирует, когда инструмент возвращает ошибку или истекает время ожидания.
Рецензент тестового тестирования записывает версию и дату BFCL вместе с оценкой модели.
Обновления BFCL расширяют оценку от изолированных вызовов до многооборотного и агентного поведения. В более новых версиях могут быть добавлены типы задач и показатели, поэтому исторические оценки не следует сравнивать без проверки методологии. Тесты производительности могут стимулировать прогресс в использовании инструментов, но тестирование приложений должно охватывать фактические API, разрешения и режимы сбоев. В будущих отчетах будет легче сравнивать параметры модели, подсказки, инструмента и выполнения. Воспроизводимые выпуски наборов данных и средств оценки помогут исследователям отслеживать изменения с течением времени и проверять будущие сравнения результатов.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Таблица лидеров вызовов функций Беркли оценивает производительность модели при выполнении функций и задач использования инструментов, а версии добавляют более широкие случаи, такие как многооборотная и агентная оценка. Результат таблицы лидеров привязан к ее версии, задачам, правилам подсчета очков и настройке модели; это не полная мера надежности агента в каждом приложении.
BFCL специально разработан для вызова функций и инструментов.
Текущая таблица лидеров описывает эти оценочные группы.
В документе сообщается об этом количестве и объеме одного оборота для этого компонента набора данных.
Тест не может охватить всю среду выполнения каждого развертывания.
Сравнение абстрактного синтаксического дерева позволяет оценить результаты структурированных вызовов.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Параллельный вызов функций
Технический