Multi-Query oppmerksomhet
Multi-Query Attention (MQA) er en minnebesparende vri på transformatoroppmerksomhet som deler ett sett med nøkler og verdier på tvers av alle oppmerksomhetshoder.
Oversikt
It dramatically speeds up text generation by shrinking the memory the model must shuffle around.
Dypdykk
Standard multi-head oppmerksomhet gir hvert hode sine egne søke-, nøkkel- og verdiprognoser. Under generering må nøklene og verdiene for alle tidligere tokens bufres og lastes på nytt ved hvert trinn - denne KV-cachen blir hovedflaskehalsen, siden lesing av den fra minnet er tregere enn selve matematikken. Multi-Query Attention, foreslått av Noam Shazeer i 2019, beholder separate spørringsprojeksjoner per hode, men kollapser nøklene og verdiene til et enkelt delt hode. Dette krymper KV-cachen med en faktor lik antall hoder, noen ganger 8x til 64x mindre. Resultatet er mye raskere autoregressiv dekoding og et lettere minneavtrykk, med bare en beskjeden kvalitetsfall. En mellomting, Grouped-Query Attention, balanserer avveiningen.
Teknisk innsikt
I MQA produserer spørringsvekter fortsatt H separate spørringsvektorer, men en enkelt nøkkelprojeksjon og enkeltverdiprojeksjon deles på tvers av alle hoder. Hvert hode beregner oppmerksomhet ved å bruke sin egen spørring mot de samme nøklene og verdiene. Fordi de hurtigbufrede K- og V-tensorene ikke lenger skalerer med antall hoder, synker minnebåndbredden under dekoding kraftig - og båndbredden, ikke beregning, er det som styrer generasjonshastigheten på moderne akseleratorer.
Strategisk innvirkning
Speed and scale
Språkarbeidsflyter kan bevege seg raskere uten å ofre konsistens.
Access and reach
Det utvider tilgangen på tvers av språk og kommunikasjonsstiler.
Tydeligere avgjørelser
Lag kan bruke mer tid på dømmekraft mens automatisering håndterer repetisjon.
Fremtiden for oppmerksomhet med flere spørringer
MQA fastslo at du kan beskjære overflødige nøkkel-/verdihoder med liten skade, og den innsikten former nå nesten alle raske slutninger LLM. Feltet har i stor grad konvergert på Grouped-Query Attention (GQA), brukt i Llama 2/3 og mange andre, som bruker noen få KV-grupper i stedet for én for å gjenopprette kvaliteten samtidig som det meste av hastigheten opprettholdes. Fremtidig arbeid blander disse ideene med KV-cache-komprimering, kvantisering og multi-latent oppmerksomhet for å presse lengre kontekster og billigere servering.
Real-World Implementering
Fremskynde token-by-token-generering i chat-assistenter der KV-cachen, ikke rå databehandling, begrenser gjennomstrømmingen.
Googles PaLM, som brukte Multi-Query Attention for å muliggjøre effektiv storskala slutning.
Betjener mange samtidige brukere på én GPU ved å krympe KV-bufferminnet per forespørsel.
Grouped-Query Attention i Llama 2 70B og Llama 3, en direkte etterkommer som balanserer MQAs hastighet med full oppmerksomhetskvalitet.
Risikoer og rekkverk
Hallusinerte fakta kan stille inn rapporter, støttestrømmer eller forskningsresultater.
Umiddelbar følsomhet kan skape inkonsistente resultater på tvers av lignende forespørsler.
Sensitive tekstdata kan bli eksponert hvis tilgangskontrollene er svake.
Veikart for implementering
Definer utdataformat, tone og kvalitetsstandarder før utrulling.
Bakgrunnssvar med pålitelige kilder når nøyaktighet er viktig.
Hold et sjekkpunkt for menneskelig vurdering for utganger med høy innsats.
Spor feilmønstre og tren opp meldinger eller arbeidsflyter regelmessig.
Fortsett å utforske
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Neste guide
Oppmerksomhet for gruppert søk
Ofte stilte spørsmål
What is Multi-Query Attention?
Multi-Query Attention (MQA) er en minnebesparende vri på transformatoroppmerksomhet som deler ett sett med nøkler og verdier på tvers av alle oppmerksomhetshoder. Det fremskynder tekstgenereringen dramatisk ved å krympe minnet modellen må stokke rundt.
Hva deler Multi-Query Attention på tvers av alle oppmerksomhetshoder?
MQA beholder separate forespørsler per hode, men deler én nøkkelprojeksjon og én verdiprojeksjon på tvers av alle hodene.
Hva er den primære flaskehalsen som MQA adresserer under autoregressiv generering?
Å laste den store KV-bufferen på nytt hvert trinn er båndbreddebundet; MQA krymper hurtigbufferen for å øke hastigheten på dekodingen.
Med omtrent hvilken faktor krymper MQA KV-cachen?
Siden nøkler og verdier kollapser fra H hoder til ett, krymper cachen med omtrentlig antall heads.
Hva er hovedavveiningen ved å bruke MQA?
Deling av nøkler og verdier reduserer representasjonskapasiteten litt, noe som forårsaker en liten kvalitetsreduksjon i bytte mot store hastighetsøkninger.
Hvilken variant står mellom standard multi-head oppmerksomhet og MQA?
Grouped-Query Attention (GQA) bruker flere KV-grupper i stedet for én, og balanserer kvalitet og hastighet.