VolgendeVolgende gids
Aandacht voor meerdere zoekopdrachten
Taal AI
Taal AI-GIDS
Grouped-Query Attention (GQA) shares key/value heads across groups of query heads.
Luister naar deze gidsAI-verteld · ~1 min
The original GQA paper studies this as a tradeoff between multi-head and multi-query attention for decoder inference.
The GQA paper proposes grouping query heads so multiple query heads share key/value heads. MHA has one key/value head per query head; MQA shares a single key/value head across all queries; GQA lies between them. The paper evaluates GQA on language modeling and machine translation tasks and reports quality closer to MHA with inference speed closer to MQA in its experiments. It also reports uptraining existing MHA models using about 5% of original pretraining compute. These claims are limited to the paper’s models, tasks and setup.
Comparing MHA, GQA and MQA head sharing.
Estimating KV-cache size from the number of query heads and key/value groups.
Reading the paper’s reported quality/speed tradeoff on evaluated language-model tasks.
Reviewing the paper’s uptraining recipe for converting an MHA checkpoint to GQA.
Benchmark head-sharing choices on the target model and hardware. The original paper’s quality/speed results do not establish universal serving speedups or negligible quality loss across all systems.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Grouped-Query Attention (GQA) shares key/value heads across groups of query heads. The original GQA paper studies this as a tradeoff between multi-head and multi-query attention for decoder inference.
GQA houdt afzonderlijke querykoppen bij, maar laat elke groep één set sleutel- en waardekoppen delen, waardoor de KV-cache wordt verkleind.
Multi-head geeft elk hoofd zijn eigen KV; multi-query deelt één KV voor alle heads; GQA zit er tussenin met een paar KV-groepen.
De besparingen komen tot uiting tijdens het genereren, waarbij het lezen van de KV-cache de dominante kosten voor geheugenbandbreedte is.
32 querykoppen gedeeld door 8 gedeelde KV-groepen geven ruwweg een viervoudige reductie in het aantal in de cache opgeslagen sleutels en waarden.
The GQA paper reports quality closer to multi-head attention (MHA) with inference speed closer to multi-query attention (MQA) in its evaluated tasks. This is an empirical result, not a universal guarantee.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Aandacht voor meerdere zoekopdrachten
Taal AI