Il prossimoProssima guida
Attenzione multi-query
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Grouped-Query Attention (GQA) shares key/value heads across groups of query heads.
Ascolta questa guidaNarrato dall'IA · ~1 min
The original GQA paper studies this as a tradeoff between multi-head and multi-query attention for decoder inference.
The GQA paper proposes grouping query heads so multiple query heads share key/value heads. MHA has one key/value head per query head; MQA shares a single key/value head across all queries; GQA lies between them. The paper evaluates GQA on language modeling and machine translation tasks and reports quality closer to MHA with inference speed closer to MQA in its experiments. It also reports uptraining existing MHA models using about 5% of original pretraining compute. These claims are limited to the paper’s models, tasks and setup.
Comparing MHA, GQA and MQA head sharing.
Estimating KV-cache size from the number of query heads and key/value groups.
Reading the paper’s reported quality/speed tradeoff on evaluated language-model tasks.
Reviewing the paper’s uptraining recipe for converting an MHA checkpoint to GQA.
Benchmark head-sharing choices on the target model and hardware. The original paper’s quality/speed results do not establish universal serving speedups or negligible quality loss across all systems.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Grouped-Query Attention (GQA) shares key/value heads across groups of query heads. The original GQA paper studies this as a tradeoff between multi-head and multi-query attention for decoder inference.
GQA mantiene intestazioni di query separate ma consente a ciascun gruppo di condividere un set di intestazioni di chiave e valore, riducendo la cache KV.
Multitesta attribuisce ad ogni testa il proprio KV; la multi-query condivide un KV per tutte le teste; GQA si trova nel mezzo con alcuni gruppi KV.
I risparmi si manifestano al momento della generazione, dove la lettura della cache KV è il costo dominante in termini di larghezza di banda della memoria.
32 teste di query divise per 8 gruppi KV condivisi forniscono una riduzione di circa quattro volte delle chiavi e dei valori memorizzati nella cache.
Il documento GQA riporta una qualità più vicina all'attenzione multi-head (MHA) con una velocità di inferenza più vicina all'attenzione multi-query (MQA) nei compiti valutati. Questo è un risultato empirico, non una garanzia universale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Attenzione multi-query
Intelligenza artificiale linguistica