Il prossimoProssima guida
Attenzione latente multi-testa
Intelligenza artificiale linguistica
GUIDA TECNICA
Il rollout dell'attenzione è un metodo per tracciare il modo in cui le informazioni fluiscono attraverso i livelli di attenzione impilati di un Transformer per spiegare quali token di input influenzano una previsione.
Ascolta questa guidaNarrato dall'IA · ~2 min
La potatura delle teste rimuove le teste di attenzione che contribuiscono poco, rimpicciolendo i modelli senza compromettere la precisione. Insieme ci aiutano a interpretare e comprimere Transformers.
I trasformatori diffondono il loro ragionamento su molte teste di attenzione in molti strati, quindi la mappa dell'attenzione di un singolo strato raramente racconta l'intera storia. Il lancio dell'attenzione, introdotto da Abnar e Zuidema nel 2020, risolve questo problema moltiplicando le matrici di attenzione strato per strato (dopo aver tenuto conto delle connessioni residue) per approssimare quanto ciascun token di input contribuisce in definitiva a un dato token di output. Separatamente, ricerche come quella di Michel e colleghi "Are Sixteen Heads Really Better Than One?" ha dimostrato che molte teste sono ridondanti: una grande frazione può essere eliminata al momento dell'inferenza con una perdita di precisione trascurabile. La potatura delle teste classifica le teste in base all'importanza, spesso utilizzando punteggi di sensibilità basati su gradienti, quindi maschera quelle meno utili. Le due tecniche sono complementari: il rollout rivela quali parti della rete sono importanti per l’interpretazione e la potatura agisce sulla ridondanza per rendere i modelli più piccoli e più veloci.
Visualizzare su quali parole in una frase si basava un classificatore Transformer, concentrando l'attenzione per evidenziare i token influenti
Compressione di un modello BERT per l'implementazione mobile eliminando le teste di attenzione ridondanti per ridurre la latenza
Controllare un modello per individuare eventuali bias tracciando il flusso di attenzione da una previsione ai token di input sensibili
Accelerare l'inferenza nei sistemi di traduzione di produzione rimuovendo le teste di bassa importanza identificate attraverso il punteggio di sensibilità
Man mano che i modelli crescono, sia l’inferenza efficiente che le spiegazioni affidabili diventano urgenti. Aspettatevi che la potatura principale si fonda con la potatura strutturata, la quantizzazione e la distillazione nelle pipeline di distribuzione per servizi edge e sensibili ai costi. L'interpretabilità sta avanzando oltre l'implementazione verso il flusso di attenzione, i metodi ponderati in base al gradiente e l'analisi dei circuiti meccanicistici che sondano le funzioni delle singole teste. La pressione normativa per un’intelligenza artificiale spiegabile continuerà a guidare la ricerca che collega le teste che contano a ciò che effettivamente calcolano.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il rollout dell'attenzione è un metodo per tracciare il modo in cui le informazioni fluiscono attraverso i livelli di attenzione impilati di un Transformer per spiegare quali token di input influenzano una previsione. La potatura delle teste rimuove le teste di attenzione che contribuiscono poco, rimpicciolendo i modelli senza compromettere la precisione. Insieme ci aiutano a interpretare e comprimere Transformers.
Il rollout moltiplica l'attenzione a livello di livello (con i residui) per approssimare il modo in cui ciascun token di input influenza un output.
Poiché il ragionamento è distribuito su livelli e teste sovrapposti, la mappa di un livello non può catturare l'intero flusso di informazioni.
L'aggiunta di un componente di identità modella la connessione di salto residua che consente ai token di conservare le proprie informazioni.
Studi come "Sedici teste sono davvero meglio di una?" ha mostrato che una grande frazione di teste è ridondante a livello di inferenza.
L'importanza viene spesso valutata utilizzando il gradiente della perdita rispetto a una variabile della maschera su ciascuna testa.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attenzione latente multi-testa
Intelligenza artificiale linguistica