Oppmerksomhet for gruppert søk
Grouped-Query Attention (GQA) er en måte å krympe minnet som trengs under tekstgenerering ved å la flere spørringshoder dele samme nøkkel- og verdihoder.
Oversikt
It makes large models much faster to serve with almost no quality loss.
Dypdykk
I et standard oppmerksomhetslag med flere hode har hvert hode sine egne spørringer, nøkler og verdier. Under generering bufres nøklene og verdiene for alle tidligere tokens ('KV-cachen') slik at modellen ikke beregner dem på nytt. Med mange hoder og lange kontekster blir denne cachen enorm og dominerer minnebåndbredden på inferenstidspunkt. GQA, introdusert av Google-forskere i 2023, grupperer spørringshodene og gir hver gruppe et enkelt delt sett med nøkkel- og verdihoder. Hvis du har 32 spørrehoder, men bare 8 KV-grupper, krymper KV-cachen omtrent fire ganger. Dette ligger mellom full oppmerksomhet med flere hoder (hvert hode atskilt) og oppmerksomhet med flere søk (én delt KV for alle hoder), og fanger mesteparten av hastigheten til MQA samtidig som kvaliteten holdes nær full oppmerksomhet. Llama 2 70B og mange senere modeller tok i bruk den.
Teknisk innsikt
Oppmerksomhetskvalitet avhenger sterkt av å ha mange forskjellige søkeretninger, men den tolererer deling av nøklene og verdiene. GQA utnytter denne asymmetrien: den beholder alle spørringshoder, men replikerer hvert delte KV-hode på tvers av spørringene i gruppen. Besparelsene kommer ved slutning, der KV-cachen er hovedforbrukeren av minnebåndbredde; færre KV-hoder betyr mindre data å lese per generert token. Modeller er ofte 'opplært' kort for å konvertere et eksisterende flerhodesjekkpunkt til et GQA-.
Strategisk innvirkning
Speed and scale
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens.
Access and reach
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler.
Tydeligere avgjørelser
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon.
The Future of Grouped-Query Attention
GQA er nå en standard standard i modeller med åpen vekt fordi den på en ren måte bytter en liten kvalitetskostnad for store serveringsgevinster. Forvent at den kombineres i økende grad med andre effektivitetstriks som FlashAttention, KV-cache-kvantisering og nyere ordninger som multi-head latent oppmerksomhet som komprimerer cachen ytterligere. Etter hvert som kontekstvinduene vokser, vil kontroll av KV-cache-størrelse forbli et sentralt designproblem, og hodedeling i GQA-stil vil forbli en nøkkelspak.
Real-World Implementering
Llama 2 70B og Llama 3 bruker GQA for å betjene lange kontekster med en mindre KV-cache
Reduserer GPU-minne slik at en stor chat-modell passer på færre eller billigere akseleratorer
Få fart på token-by-token-generering i produksjons-APIer der KV-cache-båndbredden er flaskehalsen
Aktiverer større batchstørrelser for å betjene mange brukere samtidig uten å tømme minnet
Risikoer og rekkverk
Hallusinerte fakta kan stille inn rapporter, støttestrømmer eller forskningsresultater.
Umiddelbar følsomhet kan skape inkonsistente resultater på tvers av lignende forespørsler.
Sensitive tekstdata kan bli eksponert hvis tilgangskontrollene er svake.
Veikart for implementering
Definer utdataformat, tone og kvalitetsstandarder før utrulling.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Multi-Query oppmerksomhet
Ofte stilte spørsmål
What is Grouped-Query Attention?
Grouped-Query Attention (GQA) er en måte å krympe minnet som trengs under tekstgenerering ved å la flere spørringshoder dele samme nøkkel- og verdihoder. Det gjør store modeller mye raskere å betjene uten nesten noe kvalitetstap.
I Grouped-Query Attention, hva deles mellom en gruppe spørringshoder?
GQA beholder separate spørringshoder, men lar hver gruppe av dem dele ett sett med nøkkel- og verdihoder, noe som krymper KV-cachen.
GQA beskrives best som en mellomting mellom hvilke to ytterpunkter?
Multi-hode gir hvert hode sin egen KV; multi-spørring deler én KV for alle hoder; GQA sitter i mellom med noen få KV-grupper.
Hvilken del av slutningen gjør GQA primært billigere?
Besparelsene dukker opp på generasjonstidspunktet, der lesing av KV-cachen er den dominerende minnebåndbreddekostnaden.
Hvis en modell har 32 spørrehoder og 8 KV-grupper, reduseres KV-cachen med omtrent hvilken faktor?
32 spørringshoder delt på 8 delte KV-grupper gir omtrent en firedobling i hurtigbufrede nøkler og verdier.
Hvorfor kan GQA bevare det meste av modellens kvalitet til tross for at de deler KV-hoder?
Oppmerksomhet tolererer deling av nøkler og verdier langt bedre enn den tåler å miste distinkte søkeretninger, så GQA holder kvaliteten høy.