GUIDA ALL'AI linguistica

Trasformatori

Un trasformatore è un'architettura di rete neurale che utilizza l'attenzione per combinare le informazioni in una sequenza.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Punti chiave
  3. Immersione profonda
  4. Tieni traccia di un riferimento attraverso il contesto
  5. Implementazione nel mondo reale
  6. Metterlo in pratica
  7. Fonti e approfondimenti
  8. Continua a esplorare
  9. Domande frequenti

Panoramica

È alla base di molti modelli linguistici e multimodali. L'architettura fornisce un modo per elaborare le rappresentazioni; di per sé non stabilisce la fattualità, la comprensione o un comportamento sicuro.

Punti chiave

  1. L’attenzione combina le informazioni tra le posizioni.
  2. Le varianti dell'architettura servono a diversi obiettivi formativi.
  3. La capacità a lungo contesto richiede test specifici per l'attività.

Immersione profonda

L'attenzione calcola quante informazioni una posizione dovrebbe prendere da altre posizioni. In una formulazione comune, le proiezioni apprese producono query, chiavi e valori. I confronti tra chiavi di query determinano i pesi utilizzati per combinare i valori. Più teste di attenzione consentono diverse combinazioni di questo tipo all'interno di uno strato. Uno strato trasformatore comprende anche altre operazioni, come una rete feed-forward, normalizzazione e connessioni residue. Le informazioni sulla posizione sono necessarie perché l'ordine delle parole o di altri elementi della sequenza è importante. Le implementazioni specifiche differiscono nel modo in cui rappresentano la posizione e organizzano queste operazioni. Il trasformatore originale del 2017 utilizzava un design codificatore-decodificatore per la traduzione. I modelli successivi utilizzano soluzioni solo codificatore, solo decodificatore o codificatore-decodificatore per obiettivi diversi. Un modello di linguaggio causale impedisce a una posizione di occuparsi di token futuri durante la previsione del token successivo. Questo vincolo differisce dall'elaborazione bidirezionale di un input completo. L'attenzione su sequenze lunghe può essere computazionalmente costosa. I sistemi pratici utilizzano varie ottimizzazioni, ma un limite di contesto pubblicizzato non dimostra che il modello utilizzi in modo affidabile ogni parte di un lungo documento. Testare il recupero, il ragionamento e le istruzioni seguendo la durata effettiva richiesta dalla tua applicazione.

04Esempio lavorato

Tieni traccia di un riferimento attraverso il contesto

  1. Considera il testo inventato "Il robot ha spostato la cassa perché bloccava la porta".

  2. La parola “esso” potrebbe richiedere il contesto per essere risolta. Un meccanismo di attenzione può combinare informazioni provenienti da altre posizioni mentre calcola una rappresentazione.

  3. Cambia la frase in “Il robot ha spostato la cassa perché aveva bisogno di essere caricata”. Testare l’interpretazione completa del modello piuttosto che assumere che un diagramma di attenzione dimostri la corretta risoluzione di riferimento.

Cosa mostra

Questo esempio illustra l'elaborazione contestuale senza affermare che ogni trasformatore risolva correttamente l'ambiguità.

Implementazione nel mondo reale

Codificare un documento per la classificazione.

Genera una risposta un token alla volta utilizzando l'attenzione causale.

Metterlo in pratica

Perché è importante

  • Velocità e scala. I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
  • Accedere e raggiungere. Espande l'accesso attraverso lingue e stili di comunicazione.
  • Decisioni più chiare. I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.

Attenzione

  • Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
  • La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
  • I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.

Prossimi passi

  1. Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
  2. Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
  3. Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
  4. Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.

Fonti e approfondimenti

  1. Vaswani and colleaguesL'attenzione è tutto ciò di cui hai bisogno

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Transformers quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

Tutti i trasformatori sono chatbot?

No. I Transformer possono supportare la classificazione, la traduzione, il recupero, la visione, l'audio e altre attività; un chatbot è un'applicazione costruita attorno a modelli e sistemi aggiuntivi.