Il prossimoProssima guida
Confidenzialità del Cliente Quando gli Avvocati Usano Strumenti AI
Società
GUIDA TECNICA
Toolformer è un metodo AI 2023 Meta che consente a un modello linguistico di apprendere da solo quando e come chiamare strumenti esterni come calcolatrici, motori di ricerca e traduttori.
Ascolta questa guidaNarrato dall'IA · ~2 min
Instead of humans labeling tool calls, the model generates and filters its own training examples, then fine-tunes on the ones that actually help.
Toolformer, da Schick et al. in Meta AI, affronta un paradosso: i modelli di grandi dimensioni sono bravi nel linguaggio ma pessimi in aritmetica, fatti nuovi e ricerche precise. Il ciclo di formazione è auto-supervisionato. Al modello vengono forniti una manciata di esempi scritti da persone che mostrano la sintassi delle chiamate API, quindi viene richiesto di inserire chiamate candidate (racchiuse in token speciali) in molte posizioni in un ampio corpus di testo. Ogni chiamata candidata viene effettivamente eseguita e il risultato viene inserito. La fase di filtraggio delle chiavi mantiene una chiamata allo strumento solo se avere il risultato API riduce la perplessità del modello sul testo reale successivo più che non chiamare o chiamare in modo diverso. Il modello viene quindi messo a punto su questo set di dati filtrati e autogenerati, imparando a invocare cinque strumenti: una calcolatrice, un sistema di controllo qualità, un motore di ricerca, un traduttore e un calendario.
Chiamare un'API della calcolatrice a metà frase per ottenere l'aritmetica esatta invece di indovinare una risposta numerica.
Interrogare un sistema di ricerca o di controllo qualità per recuperare informazioni fattuali aggiornate o raramente visualizzate.
Invocare uno strumento di traduzione automatica per riprodurre una frase in un'altra lingua all'interno del testo generato.
Utilizzo di uno strumento calendario/data per risolvere riferimenti relativi come "venerdì prossimo" a una data concreta.
Toolformer ha seminato gli attuali agenti che utilizzano strumenti e chiamano funzioni. La frontiera si sta spostando da una manciata fissa di strumenti a decine o centinaia scoperti in fase di esecuzione, con modelli che ragionano su quale strumento chiamare, concatenando chiamate e gestendo gli errori. Aspettatevi un'integrazione più stretta con l'apprendimento per rinforzo e i loop degli agenti, oltre all'apprendimento al volo di nuove API, in modo che l'uso autodidatta degli strumenti diventi una funzionalità standard anziché una messa a punto specializzata.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Toolformer è un metodo AI 2023 Meta che consente a un modello linguistico di apprendere da solo quando e come chiamare strumenti esterni come calcolatrici, motori di ricerca e traduttori. Invece di etichettare le chiamate degli strumenti da parte degli esseri umani, il modello genera e filtra i propri esempi di formazione, quindi perfeziona quelli che effettivamente aiutano.
Toolformer è auto-supervisionato: il modello propone chiamate API candidate, le esegue e conserva solo quelle utili, senza annotazioni umane sul corretto utilizzo.
Una chiamata viene mantenuta solo se l'inserimento del suo risultato abbassa la perplessità/perdita del modello sul testo reale successivo oltre una soglia, indicando che è stata veramente utile.
Toolformer è stato addestrato per invocare cinque API: una calcolatrice, un sistema di risposta alle domande, un motore di ricerca, un traduttore automatico e un calendario.
Le chiamate dei candidati e i relativi risultati restituiti vengono inseriti in linea nel testo utilizzando token speciali, in modo che il modello impari insieme il posizionamento e gli argomenti.
Nonostante le forti competenze linguistiche, gli LLM hanno difficoltà con l’aritmetica esatta, i fatti aggiornati e il recupero preciso delle informazioni, che gli strumenti esterni possono fornire.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Confidenzialità del Cliente Quando gli Avvocati Usano Strumenti AI
Società