Il prossimoProssima guida
Teste di induzione nei trasformatori
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Un trasformatore è un'architettura di rete neurale che utilizza l'attenzione per combinare le informazioni in una sequenza.
Ascolta questa guidaNarrato dall'IA · ~2 min
È alla base di molti modelli linguistici e multimodali. L'architettura fornisce un modo per elaborare le rappresentazioni; di per sé non stabilisce la fattualità, la comprensione o un comportamento sicuro.
L'attenzione calcola quante informazioni una posizione dovrebbe prendere da altre posizioni. In una formulazione comune, le proiezioni apprese producono query, chiavi e valori. I confronti tra chiavi di query determinano i pesi utilizzati per combinare i valori. Più teste di attenzione consentono diverse combinazioni di questo tipo all'interno di uno strato. Uno strato trasformatore comprende anche altre operazioni, come una rete feed-forward, normalizzazione e connessioni residue. Le informazioni sulla posizione sono necessarie perché l'ordine delle parole o di altri elementi della sequenza è importante. Le implementazioni specifiche differiscono nel modo in cui rappresentano la posizione e organizzano queste operazioni. Il trasformatore originale del 2017 utilizzava un design codificatore-decodificatore per la traduzione. I modelli successivi utilizzano soluzioni solo codificatore, solo decodificatore o codificatore-decodificatore per obiettivi diversi. Un modello di linguaggio causale impedisce a una posizione di occuparsi di token futuri durante la previsione del token successivo. Questo vincolo differisce dall'elaborazione bidirezionale di un input completo. L'attenzione su sequenze lunghe può essere computazionalmente costosa. I sistemi pratici utilizzano varie ottimizzazioni, ma un limite di contesto pubblicizzato non dimostra che il modello utilizzi in modo affidabile ogni parte di un lungo documento. Testare il recupero, il ragionamento e le istruzioni seguendo la durata effettiva richiesta dalla tua applicazione.
04Esempio lavorato
Considera il testo inventato "Il robot ha spostato la cassa perché bloccava la porta".
La parola “esso” potrebbe richiedere il contesto per essere risolta. Un meccanismo di attenzione può combinare informazioni provenienti da altre posizioni mentre calcola una rappresentazione.
Cambia la frase in “Il robot ha spostato la cassa perché aveva bisogno di essere caricata”. Testare l’interpretazione completa del modello piuttosto che assumere che un diagramma di attenzione dimostri la corretta risoluzione di riferimento.
Cosa mostra
Questo esempio illustra l'elaborazione contestuale senza affermare che ogni trasformatore risolva correttamente l'ambiguità.
Codificare un documento per la classificazione.
Genera una risposta un token alla volta utilizzando l'attenzione causale.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
No. I Transformer possono supportare la classificazione, la traduzione, il recupero, la visione, l'audio e altre attività; un chatbot è un'applicazione costruita attorno a modelli e sistemi aggiuntivi.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Teste di induzione nei trasformatori
Intelligenza artificiale linguistica