Il prossimoProssima guida
Attenzione alle query raggruppate
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
L'attenzione multi-query (MQA) è una svolta salva-memoria sull'attenzione del trasformatore che condivide un set di chiavi e valori tra tutte le teste di attenzione.
Ascolta questa guidaNarrato dall'IA · ~2 min
It dramatically speeds up text generation by shrinking the memory the model must shuffle around.
L'attenzione multitesta standard fornisce a ciascuna testa le proprie proiezioni di query, chiavi e valori. Durante la generazione, le chiavi e i valori di tutti i token precedenti devono essere memorizzati nella cache e ricaricati ad ogni passaggio: questa cache KV diventa il principale collo di bottiglia, poiché la lettura dalla memoria è più lenta dei calcoli stessi. L'attenzione multi-query, proposta da Noam Shazeer nel 2019, mantiene proiezioni di query separate per testa ma comprime le chiavi e i valori in un'unica testa condivisa. Ciò riduce la cache KV di un fattore pari al numero di testine, a volte da 8x a 64x più piccolo. Il risultato è una decodifica autoregressiva molto più veloce e un ingombro di memoria più leggero, con solo un modesto calo di qualità. Una via di mezzo, l'attenzione alle query raggruppate, bilancia il compromesso.
Accelerazione della generazione token per token negli assistenti chat in cui la cache KV, e non il calcolo grezzo, limita il throughput.
PaLM di Google, che utilizzava l'attenzione multi-query per consentire un'inferenza efficiente su larga scala.
Servire molti utenti simultanei su una GPU riducendo la memoria cache KV per richiesta.
Attenzione di query raggruppate in Llama 2 70B e Llama 3, un discendente diretto che bilancia la velocità di MQA con la qualità dell'attenzione completa.
MQA ha stabilito che è possibile eliminare le teste chiave/valore ridondanti con pochi danni e che le informazioni ora modellano quasi ogni LLM a inferenza rapida. Il campo è in gran parte convergente su Grouped-Query Attention (GQA), utilizzato in Llama 2/3 e molti altri, che utilizza alcuni gruppi KV anziché uno solo per recuperare la qualità mantenendo la maggior parte della velocità. Il lavoro futuro fonde queste idee con la compressione della cache KV, la quantizzazione e l'attenzione multi-latente per promuovere contesti più lunghi e servizi più economici.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'attenzione multi-query (MQA) è una svolta salva-memoria sull'attenzione del trasformatore che condivide un set di chiavi e valori tra tutte le teste di attenzione. Accelera notevolmente la generazione del testo riducendo la memoria che il modello deve spostare.
MQA mantiene query separate per testa ma condivide una proiezione chiave e una proiezione di valore per tutte le teste.
Ricaricando la cache KV di grandi dimensioni, ogni passaggio è limitato alla larghezza di banda; MQA riduce la cache per accelerare la decodifica.
Poiché le chiavi e i valori collassano da H a uno, la cache si riduce approssimativamente del numero di teste.
La condivisione di chiavi e valori riduce leggermente la capacità rappresentativa, provocando un piccolo calo di qualità in cambio di grandi guadagni di velocità.
Grouped-Query Attention (GQA) utilizza diversi gruppi KV anziché uno solo, bilanciando qualità e velocità.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attenzione alle query raggruppate
Intelligenza artificiale linguistica