Майстер інструменту та самовчитель користування інструментом
Toolformer — це метод штучного інтелекту Meta 2023 року, який дозволяє мовній моделі навчити себе, коли та як викликати зовнішні інструменти, такі як калькулятори, пошукові системи та перекладачі.
Огляд
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Глибоке занурення
Toolformer, від Schick et al. на Meta ШІ вирішує парадокс: великі моделі чудово володіють мовою, але погано володіють арифметикою, свіжими фактами та точним пошуком. Навчальна петля є самоконтрольованою. Модель містить кілька прикладів, написаних людиною, що демонструють синтаксис виклику API, а потім пропонується вставити виклики-кандидати (загорнуті в спеціальні маркери) у багатьох позиціях у великому текстовому корпусі. Кожен виклик кандидата фактично виконується, а результат додається. Етап фільтрації ключів зберігає виклик інструменту, лише якщо наявність результату API зменшує здивування моделі щодо майбутнього реального тексту більше, ніж відсутність виклику або виклик по-іншому. Потім модель точно налаштовується на цьому відфільтрованому самостійно створеному наборі даних, навчаючись викликати п’ять інструментів: калькулятор, систему контролю якості, пошукову систему, перекладач і календар.
Технічне розуміння
Вирішальною ідеєю є самоконтрольована мета фільтрації. Для кожної позиції кандидата Toolformer порівнює втрату прогнозування наступних токенів із вставленим результатом API та без нього. Дзвінки, які зменшують втрати більше ніж порогове значення, зберігаються; непотрібні або галасливі виклики відхиляються. Це означає, що не потрібні людські анотації «правильного» використання інструменту, модель сама вирішує, які виклики були справді інформативними, і вона вивчає розміщення та аргументи разом.
Стратегічний вплив
Вартість і бюджет
Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
Чіткіші рішення
Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
Контроль якості
Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Майбутнє використання інструментів інструментами та самоучками
Toolformer створив сучасні агенти, що використовують інструменти та викликають функції. Межа рухається від фіксованої кількох інструментів до десятків чи сотень, виявлених під час виконання, з моделями, які міркують про те, який інструмент викликати, ланцюжок викликів і обробки збоїв. Очікуйте тіснішої інтеграції з підкріпленням навчання та агентськими циклами, а також оперативним навчанням новим API, щоб використання інструменту для самостійного навчання стало стандартною можливістю, а не спеціалізованим тонким налаштуванням.
Реалізація в реальному світі
Виклик API калькулятора в середині речення для отримання точної арифметики замість вгадування числової відповіді.
Надсилання запитів пошуковій системі або системі контролю якості для отримання актуальної чи рідковживаної фактичної інформації.
Виклик інструменту машинного перекладу для відтворення фрази іншою мовою в створеному тексті.
Використання інструменту календаря/дати для вирішення відносних посилань на конкретну дату, наприклад «наступної п’ятниці».
Ризики та огорожі
Оптимізація одного тесту може приховати ширші слабкі сторони системи.
Витрати на інфраструктуру та обслуговування часто недооцінюються.
Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Дорожня карта впровадження
Визначте цільові показники затримки, якості та вартості перед впровадженням.
Тест за реалістичних умов навантаження та даних.
Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Саморефлексія в петлях агента
Часті запитання
What is Toolformer and Self-Taught Tool Use?
Toolformer — це метод штучного інтелекту Meta 2023 року, який дозволяє мовній моделі навчити себе, коли та як викликати зовнішні інструменти, такі як калькулятори, пошукові системи та перекладачі. Замість того, щоб люди позначали виклики інструментів, модель генерує та фільтрує власні приклади навчання, а потім точно налаштовує ті, які дійсно допомагають.
Що робить підхід Toolformer до використання інструментів навчання відмінним?
Toolformer самоконтрольований: модель пропонує кандидати на виклики API, виконує їх і зберігає лише корисні, без анотацій людини щодо правильного використання.
Який критерій використовує Toolformer, щоб вирішити, чи зберігати кандидатський виклик API?
Виклик зберігається лише в тому випадку, якщо вставлення його результату знижує здивування/втрату моделі на майбутній реальний текст понад порогове значення, вказуючи, що він був справді корисним.
Який набір інструментів навчився використовувати оригінальний Toolformer?
Toolformer був навчений викликати п’ять API: калькулятор, систему відповідей на запитання, пошукову систему, машинний перекладач і календар.
Як виклики інструментів представлені в тексті під час процесу Toolformer?
Виклики кандидатів і отримані ними результати вставляються в текст за допомогою спеціальних токенів, тому модель вивчає розташування та аргументи разом.
Яка основна слабкість великих мовних моделей мотивувала Toolformer?
Незважаючи на хороші мовні навички, магістри права мають проблеми з точною арифметикою, актуальними фактами та точним пошуком інформації, які можуть надати зовнішні інструменти.