Il prossimoProssima guida
RWKV Attenzione lineare
Intelligenza artificiale linguistica
GUIDA TECNICA
L'attenzione lineare sostituisce l'attenzione softmax quadratica in Transformers con un trucco matematico che si adatta linearmente alla lunghezza della sequenza.
Ascolta questa guidaNarrato dall'IA · ~2 min
Performer is a landmark method that approximates softmax using random feature kernels, making very long sequences computationally affordable.
L'attenzione standard di Transformer calcola un punteggio tra ogni coppia di token, costando tempo e memoria che crescono con il quadrato della lunghezza della sequenza (O (n ^ 2)). L'attenzione lineare riscrive il calcolo in modo che il costo cresca solo in modo lineare (O(n)). L'idea chiave: l'attenzione di softmax è softmax(QK^T)V, ma se sostituisci softmax con una mappa delle funzionalità del kernel phi, ottieni phi(Q)(phi(K)^T V). Poiché la moltiplicazione delle matrici è associativa, si calcola prima phi(K)^T V (una piccola matrice d per d), evitando completamente la matrice gigante del punteggio n per n. Performer, da Google nel 2020, rende questa un'approssimazione fedele del vero softmax utilizzando FAVOR+ (Fast Attention Via positive Orthogonal Random features), disegnando proiezioni casuali che mantengono le stime del kernel imparziali e stabili.
Elaborazione di lunghe sequenze genomiche o proteiche in cui la piena attenzione quadratica esaurirebbe la memoria della GPU
Riepilogo a livello di documento su report molto lunghi senza suddivisione in blocchi, utilizzando un backbone in stile Performer
Efficiente modellazione audio di lunga durata o serie temporali in cui le sequenze si estendono su decine di migliaia di passaggi
Riduzione dei costi di inferenza nei modelli di chat a contesto lungo sostituendo alcuni livelli softmax con varianti di attenzione lineare
L’attenzione lineare pura spesso segue il softmax sulla qualità, quindi il campo sta convergendo sugli ibridi: modelli nello spazio degli stati (Mamba), attenzione lineare delimitata e architetture che mescolano pochi livelli di attenzione completa con molti livelli lineari. Man mano che le finestre di contesto si spingono verso milioni di token, i meccanismi lineari e subquadratici sono sempre più interessanti in termini di costi e l’attenzione lineare di tipo ricorrente viene rivisitata per un’inferenza di streaming efficiente e modelli sul dispositivo.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'attenzione lineare sostituisce l'attenzione softmax quadratica in Transformers con un trucco matematico che si adatta linearmente alla lunghezza della sequenza. Performer è un metodo fondamentale che si avvicina a softmax utilizzando kernel di funzionalità casuali, rendendo sequenze molto lunghe accessibili dal punto di vista computazionale.
L'attenzione di Softmax confronta ogni coppia di token, producendo una matrice di punteggio n per n, quindi il costo cresce come O (n ^ 2).
Poiché la moltiplicazione delle matrici è associativa, puoi calcolare prima phi(K)^T V, una piccola matrice d per d, invece di phi(Q)phi(K)^T.
FAVOR+ utilizza caratteristiche casuali ortogonali positive per approssimare il kernel esponenziale softmax senza formare la matrice di attenzione completa.
Le caratteristiche positive mantengono le stime del kernel non negative, evitando le instabilità e i valori negativi che affliggevano le precedenti mappe delle caratteristiche sin/cos.
Riordinando il calcolo e non costruendo mai la matrice n per n, il costo scala linearmente con la lunghezza della sequenza.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
RWKV Attenzione lineare
Intelligenza artificiale linguistica