Формирователь инструментов и самообучение использования инструментов
Toolformer — это Meta 2023 года метод искусственного интеллекта, который позволяет языковой модели самостоятельно обучаться, когда и как вызывать внешние инструменты, такие как калькуляторы, поисковые системы и переводчики.
Обзор
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Глубокое погружение
Toolformer от Schick et al. в Meta AI решает парадокс: большие модели хороши в языке, но плохи в арифметике, свежих фактах и точном поиске. Цикл обучения контролируется самостоятельно. В модели представлено несколько написанных человеком примеров, показывающих синтаксис вызовов API, а затем предлагается вставить вызовы-кандидаты (завернутые в специальные токены) во многие позиции в большом текстовом корпусе. Каждый вызов-кандидат фактически выполняется, и результат добавляется. Шаг фильтрации ключей сохраняет вызов инструмента только в том случае, если наличие результата API снижает недоумение модели в отношении предстоящего реального текста больше, чем отсутствие вызова или вызов по-другому. Затем модель настраивается на этом отфильтрованном, самостоятельно сгенерированном наборе данных, обучаясь использовать пять инструментов: калькулятор, систему контроля качества, поисковую систему, переводчик и календарь.
Техническая информация
Решающей идеей является цель самоконтролируемой фильтрации. Для каждой позиции-кандидата Toolformer сравнивает потери при прогнозировании следующих токенов с вставленным результатом API и без него. Вызовы, которые уменьшают потери более чем на порог, сохраняются; бесполезные или шумные вызовы отбрасываются. Это означает, что не требуется никаких человеческих комментариев о «правильном» использовании инструмента, модель сама решает, какие вызовы были действительно информативными, и совместно изучает размещение и аргументы.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее формирователей инструментов и самостоятельного использования инструментов
Toolformer заложил основу современных агентов, использующих инструменты и вызывающих функции. Граница перемещается от фиксированного нескольких инструментов к десяткам или сотням, обнаруживаемым во время выполнения, при этом модели решают, какой инструмент вызывать, объединяют вызовы в цепочку и обрабатывают сбои. Ожидайте более тесной интеграции с обучением с подкреплением и циклами агентов, а также оперативного изучения новых API, чтобы использование инструментов самообучения стало стандартной возможностью, а не специализированной тонкой настройкой.
Реальная реализация
Вызов API-калькулятора в середине предложения для получения точных арифметических действий вместо угадывания числового ответа.
Запрос к системе поиска или контроля качества для получения актуальной или редко встречающейся фактической информации.
Вызов инструмента машинного перевода для отображения фразы на другом языке в сгенерированном тексте.
Использование инструмента календаря/даты для разрешения относительных ссылок, таких как «следующая пятница», на конкретную дату.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Саморефлексия в циклах агентов
Часто задаваемые вопросы
What is Toolformer and Self-Taught Tool Use?
Toolformer — это Meta 2023 года метод искусственного интеллекта, который позволяет языковой модели самостоятельно обучаться, когда и как вызывать внешние инструменты, такие как калькуляторы, поисковые системы и переводчики. Вместо того, чтобы люди маркировали вызовы инструментов, модель генерирует и фильтрует собственные обучающие примеры, а затем настраивает те из них, которые действительно помогают.
Что делает подход Toolformer к использованию инструментов обучения особенным?
Toolformer самоконтролируется: модель предлагает возможные вызовы API, выполняет их и сохраняет только полезные, без человеческих аннотаций правильного использования.
Какой критерий использует Toolformer, чтобы решить, следует ли сохранять кандидатский вызов API?
Вызов сохраняется только в том случае, если вставка его результата снижает недоумение/потерю модели при предстоящем реальном тексте сверх порогового значения, что указывает на то, что он действительно полезен.
Какой набор инструментов научился использовать оригинальный Toolformer?
Toolformer был обучен вызывать пять API: калькулятор, вопросно-ответную систему, поисковую систему, машинный переводчик и календарь.
Как вызовы инструментов представлены в тексте в процессе работы Toolformer?
Вызовы-кандидаты и возвращаемые ими результаты вставляются в текст с помощью специальных токенов, поэтому модель изучает размещение и аргументы вместе.
Какая основная слабость больших языковых моделей мотивировала Toolformer?
Несмотря на хорошие языковые навыки, LLM испытывают трудности с точной арифметикой, актуальными фактами и точным поиском информации, которые могут предоставить внешние инструменты.