Използване на инструменти за формиране на инструменти и самоук
Toolformer е 2023 Meta AI метод, който позволява на езиков модел да се обучава кога и как да извиква външни инструменти като калкулатори, търсачки и преводачи.
Преглед
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Дълбоко гмуркане
Toolformer, от Schick et al. на Meta AI се справя с парадокс: големите модели са страхотни в езика, но са лоши в аритметиката, свежите факти и прецизните търсения. Тренировъчният цикъл се самонаблюдава. На модела са дадени шепа написани от човека примери, показващи синтаксиса на API-извикване, след което е подканен да вмъкне кандидат-извиквания (опаковани в специални токени) на много позиции в голям текстов корпус. Всяко извикване на кандидат действително се изпълнява и резултатът се включва. Ключовата стъпка за филтриране запазва извикване на инструмент само ако наличието на резултат от API намалява объркването на модела относно предстоящия реален текст повече, отколкото да не се извиква или да се извиква по различен начин. След това моделът се настройва фино върху този филтриран, самостоятелно генериран набор от данни, като се научава да извиква пет инструмента: калкулатор, QA система, търсачка, преводач и календар.
Техническа информация
Решаващата идея е целта на самоконтролираното филтриране. За всяка кандидатска позиция Toolformer сравнява загубата на прогнозиране на следните токени с вмъкнат API резултат спрямо без него. Повикванията, които намаляват загубата с повече от праг, се запазват; безполезните или шумни повиквания се отхвърлят. Това означава, че не е необходима човешка анотация за „правилното“ използване на инструмента, моделът сам решава кои обаждания са били наистина информативни и научава разположението и аргументите съвместно.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на машината за формиране на инструменти и самообученото използване на инструменти
Toolformer заложи днешните агенти, използващи инструменти и извикващи функции. Границата се движи от фиксирана шепа инструменти към десетки или стотици, открити по време на изпълнение, като моделите разсъждават кой инструмент да извикат, верижно свързване на повиквания и обработка на грешки. Очаквайте по-тясна интеграция с обучение за подсилване и цикли на агенти, плюс обучение в движение на нови API, така че самообученото използване на инструменти да се превърне в стандартна възможност, а не в специализирана фина настройка.
Внедряване в реалния свят
Извикване на API на калкулатор по средата на изречението, за да получите точна аритметика, вместо да познаете цифров отговор.
Запитване към система за търсене или QA за извличане на актуална или рядко срещана фактическа информация.
Извикване на инструмент за машинен превод за изобразяване на фраза на друг език в генерирания текст.
Използване на инструмент за календар/дата за разрешаване на относителни препратки като „следващия петък“ към конкретна дата.
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Саморефлексия в Agent Loops
Frequently asked questions
What is Toolformer and Self-Taught Tool Use?
Toolformer е 2023 Meta AI метод, който позволява на езиков модел да се обучава кога и как да извиква външни инструменти като калкулатори, търсачки и преводачи. Вместо хората да маркират извиквания на инструменти, моделът генерира и филтрира свои собствени примери за обучение, след което прецизира тези, които действително помагат.
Какво прави подхода на Toolformer за използване на инструменти за обучение отличителен?
Toolformer се самонаблюдава: моделът предлага кандидат извиквания на API, изпълнява ги и запазва само полезните, без човешка анотация за правилна употреба.
Кой критерий използва Toolformer, за да реши дали да запази извикване на кандидат API?
Повикване се запазва само ако вмъкването на неговия резултат намалява объркването/загубата на модела върху предстоящия реален текст над прага, което показва, че е било наистина полезно.
Какъв набор от инструменти се научи да използва оригиналният Toolformer?
Toolformer беше обучен да извиква пет API: калкулатор, система за отговори на въпроси, търсачка, машинен преводач и календар.
Как се представят извикванията на инструменти в текста по време на процеса на Toolformer?
Извикванията на кандидати и върнатите от тях резултати се вмъкват в текста с помощта на специални токени, така че моделът научава разположението и аргументите заедно.
Каква основна слабост на големите езикови модели мотивира Toolformer?
Въпреки силните езикови умения, LLMs се борят с точна аритметика, актуални факти и прецизно извличане на информация, които външни инструменти могат да предоставят.