GUIDA ALL'AI linguistica

Attenzione multi-query

L'attenzione multi-query (MQA) è una svolta salva-memoria sull'attenzione del trasformatore che condivide un set di chiavi e valori tra tutte le teste di attenzione.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro dell'attenzione multi-query
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

It dramatically speeds up text generation by shrinking the memory the model must shuffle around.

Immersione profonda

L'attenzione multitesta standard fornisce a ciascuna testa le proprie proiezioni di query, chiavi e valori. Durante la generazione, le chiavi e i valori di tutti i token precedenti devono essere memorizzati nella cache e ricaricati ad ogni passaggio: questa cache KV diventa il principale collo di bottiglia, poiché la lettura dalla memoria è più lenta dei calcoli stessi. L'attenzione multi-query, proposta da Noam Shazeer nel 2019, mantiene proiezioni di query separate per testa ma comprime le chiavi e i valori in un'unica testa condivisa. Ciò riduce la cache KV di un fattore pari al numero di testine, a volte da 8x a 64x più piccolo. Il risultato è una decodifica autoregressiva molto più veloce e un ingombro di memoria più leggero, con solo un modesto calo di qualità. Una via di mezzo, l'attenzione alle query raggruppate, bilancia il compromesso.

Implementazione nel mondo reale

Accelerazione della generazione token per token negli assistenti chat in cui la cache KV, e non il calcolo grezzo, limita il throughput.

PaLM di Google, che utilizzava l'attenzione multi-query per consentire un'inferenza efficiente su larga scala.

Servire molti utenti simultanei su una GPU riducendo la memoria cache KV per richiesta.

Attenzione di query raggruppate in Llama 2 70B e Llama 3, un discendente diretto che bilancia la velocità di MQA con la qualità dell'attenzione completa.

Il futuro dell'attenzione multi-query

MQA ha stabilito che è possibile eliminare le teste chiave/valore ridondanti con pochi danni e che le informazioni ora modellano quasi ogni LLM a inferenza rapida. Il campo è in gran parte convergente su Grouped-Query Attention (GQA), utilizzato in Llama 2/3 e molti altri, che utilizza alcuni gruppi KV anziché uno solo per recuperare la qualità mantenendo la maggior parte della velocità. Il lavoro futuro fonde queste idee con la compressione della cache KV, la quantizzazione e l'attenzione multi-latente per promuovere contesti più lunghi e servizi più economici.

Metterlo in pratica

Perché è importante

  • Velocità e scala. I flussi di lavoro linguistici possono muoversi più velocemente senza sacrificare la coerenza.
  • Accedere e raggiungere. Espande l'accesso attraverso lingue e stili di comunicazione.
  • Decisioni più chiare. I team possono dedicare più tempo al giudizio mentre l'automazione gestisce la ripetizione.

Attenzione

  • Fatti allucinati possono tranquillamente entrare nei rapporti, nei flussi di supporto o nei risultati della ricerca.
  • La sensibilità tempestiva può creare risultati incoerenti tra richieste simili.
  • I dati di testo sensibili potrebbero essere esposti se i controlli di accesso sono deboli.

Prossimi passi

  1. Definisci il formato di output, il tono e gli standard di qualità prima dell'implementazione.
  2. Risposte concrete con fonti attendibili ogni volta che la precisione è importante.
  3. Mantenere un checkpoint di revisione umana per i risultati ad alto rischio.
  4. Tieni traccia dei modelli di errore e riqualifica regolarmente le richieste o i flussi di lavoro.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Multi-Query Attention quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Multi-Query Attention?

L'attenzione multi-query (MQA) è una svolta salva-memoria sull'attenzione del trasformatore che condivide un set di chiavi e valori tra tutte le teste di attenzione. Accelera notevolmente la generazione del testo riducendo la memoria che il modello deve spostare.

Cosa condivide l'attenzione multi-query tra tutte le teste di attenzione?

MQA mantiene query separate per testa ma condivide una proiezione chiave e una proiezione di valore per tutte le teste.

Qual è il collo di bottiglia principale che MQA affronta durante la generazione autoregressiva?

Ricaricando la cache KV di grandi dimensioni, ogni passaggio è limitato alla larghezza di banda; MQA riduce la cache per accelerare la decodifica.

All'incirca in base a quale fattore MQA riduce la cache KV?

Poiché le chiavi e i valori collassano da H a uno, la cache si riduce approssimativamente del numero di teste.

Qual è il principale compromesso derivante dall’utilizzo di MQA?

La condivisione di chiavi e valori riduce leggermente la capacità rappresentativa, provocando un piccolo calo di qualità in cambio di grandi guadagni di velocità.

Quale variante si trova tra l'attenzione multi-testa standard e l'MQA?

Grouped-Query Attention (GQA) utilizza diversi gruppi KV anziché uno solo, bilanciando qualità e velocità.