Formateur d'outils et utilisation autodidacte des outils
Toolformer est une méthode d'IA Meta 2023 qui permet à un modèle de langage d'apprendre lui-même quand et comment appeler des outils externes tels que des calculatrices, des moteurs de recherche et des traducteurs.
Aperçu
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Plongée profonde
Toolformer, de Schick et al. chez Meta AI, s'attaque à un paradoxe : les grands modèles sont excellents en langage mais mauvais en arithmétique, en faits nouveaux et en recherches précises. La boucle de formation est auto-supervisée. Le modèle reçoit une poignée d'exemples écrits par des humains montrant la syntaxe des appels d'API, puis est invité à insérer des appels candidats (encapsulés dans des jetons spéciaux) à de nombreuses positions dans un vaste corpus de texte. Chaque appel candidat est réellement exécuté et le résultat est intégré. L'étape de filtrage par clé conserve un appel d'outil uniquement si le fait d'avoir le résultat de l'API réduit davantage la perplexité du modèle sur le texte réel à venir que de ne pas appeler ou d'appeler différemment. Le modèle est ensuite affiné sur cet ensemble de données filtré et auto-généré, en apprenant à invoquer cinq outils : une calculatrice, un système d'assurance qualité, un moteur de recherche, un traducteur et un calendrier.
Aperçu technique
L’idée décisive est l’objectif de filtrage auto-supervisé. Pour chaque poste de candidat, Toolformer compare la perte de prédiction des jetons suivants avec le résultat de l'API inséré par rapport à sans celui-ci. Les appels qui réduisent la perte de plus d'un seuil sont conservés ; les appels inutiles ou bruyants sont rejetés. Cela signifie qu'aucune annotation humaine sur l'utilisation « correcte » de l'outil n'est nécessaire, le modèle lui-même décide quels appels étaient véritablement informatifs et il apprend conjointement le placement et les arguments.
Impact stratégique
Coût et budget
Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
Décisions plus claires
La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
Contrôle qualité
De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
L’avenir du formateur d’outils et de l’utilisation autodidacte des outils
Toolformer a lancé les agents utilisant des outils et appelant des fonctions d'aujourd'hui. La frontière passe d'une poignée fixe d'outils à des dizaines ou des centaines découvertes au moment de l'exécution, avec des modèles raisonnant sur l'outil à appeler, enchaînant les appels et gérant les échecs. Attendez-vous à une intégration plus étroite avec l'apprentissage par renforcement et les boucles d'agents, ainsi qu'à l'apprentissage à la volée de nouvelles API, de sorte que l'utilisation autodidacte des outils devienne une capacité standard plutôt qu'un réglage spécialisé.
Mise en œuvre dans le monde réel
Appeler une API de calculatrice au milieu d'une phrase pour obtenir une arithmétique exacte au lieu de deviner une réponse numérique.
Interroger un système de recherche ou d'assurance qualité pour récupérer des informations factuelles à jour ou rarement vues.
Invoquer un outil de traduction automatique pour restituer une phrase dans une autre langue dans le texte généré.
Utiliser un outil de calendrier/date pour résoudre des références relatives telles que « vendredi prochain » à une date concrète.
Risques et garde-fous
L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Feuille de route de mise en œuvre
Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
Benchmark dans des conditions de charge et de données réalistes.
Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Toolformer and Self-Taught Tool Use quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Guide suivant
Auto-réflexion dans les boucles d'agent
Questions fréquemment posées
What is Toolformer and Self-Taught Tool Use?
Toolformer est une méthode d'IA Meta 2023 qui permet à un modèle de langage d'apprendre lui-même quand et comment appeler des outils externes tels que des calculatrices, des moteurs de recherche et des traducteurs. Au lieu que les humains étiquetent les appels aux outils, le modèle génère et filtre ses propres exemples de formation, puis affine ceux qui sont réellement utiles.
Qu'est-ce qui rend l'approche de Toolformer en matière d'utilisation des outils d'apprentissage distinctive ?
Toolformer est auto-supervisé : le modèle propose des appels d'API candidats, les exécute et ne conserve que ceux qui sont utiles, sans annotation humaine sur l'utilisation correcte.
Quel critère Toolformer utilise-t-il pour décider de conserver ou non un appel d'API candidat ?
Un appel n'est conservé que si l'insertion de son résultat réduit la perplexité/la perte du modèle sur le texte réel à venir au-delà d'un seuil, indiquant qu'il était véritablement utile.
Quel ensemble d'outils le Toolformer original a-t-il appris à utiliser ?
Toolformer a été formé pour invoquer cinq API : une calculatrice, un système de questions-réponses, un moteur de recherche, un traducteur automatique et un calendrier.
Comment les appels d'outils sont-ils représentés dans le texte pendant le processus de Toolformer ?
Les appels des candidats et leurs résultats renvoyés sont insérés en ligne dans le texte à l'aide de jetons spéciaux, de sorte que le modèle apprend ensemble le placement et les arguments.
Quelle faiblesse sous-jacente des grands modèles de langage a motivé Toolformer ?
Malgré de solides compétences linguistiques, les LLM ont du mal avec l'arithmétique exacte, les faits à jour et la récupération d'informations précises, que les outils externes peuvent fournir.