Làkk AI GUIDE
Laajte yu bari
Multi-Query Attention (MQA) dafay sakkanal mémoire ci transformateur biy séddoo benn xeetu caabi ak valeur ci bépp boppu attention.
Déglul tegtal biiIA-nettali · ~2 min
Ci xët wii2 simili jàng
Résumé
Dafay gaawlu bu baax defar mbind ndax dafay wàññi memory bi model bi wara jaxasoo.
Plongeur bu xóot
Foofu ñuy bàyyi xel ci bopp yu bari dafay jox bopp bu nekk laaj boppam, caabi ak projection valeur. Ci jamonoy generation, caabi yi ak valeur yi ci token yi weesu yépp dañu leen wara cache ak chargewaat ci jéego bu nekk - cache KV bi mooy nekk bottleneck bi gëna mag, ndax jàng ko ci mémoire moo gëna yeex math bi ci boppam. Multi-Query Attention, bi Noam Shazeer xalaat ci 2019, dafay tëye ay projection laaj yu wuute ci bopp bu nekk waaye dafay dindi caabi yi ak valeur yi ci benn bopp buñ bokk. Loolu dafay wàññi cache KV ci lu tollu ci limu bopp yi, yenn saa mu gëna ndaw 8x ba 64x. Lépp soo ko boolee mooy decodage autorégressive bu gëna gaaw ak emprent mémoire bu gëna woyof, ak tuuti ci kalite bi. Diggu suuf, Grouped-Query Attention, mooy ekilibre kompromis bi.
Doxal ci àdduna dëgg
Gaawaay defar token-ci-token ci assistant chat fu cache KV, du ordinatër bu ñor, di tënk produit bi.
Google's PaLM, bi jëfandikoo Fexe Laajte yu bari ngir mëna am njariñ ci anam wu yaatu.
Dimbali jëfandikukat yu bari ci benn GPU ci wàññi memory cache KV bu laaj bu nekk.
Groupe-Query Fexe ci Llama 2 70B ak Llama 3, ab mbokk buy yemale gaawaayu MQA ak kalite bàyyi xel bu mat sëkk.
Ëlëgu bàyyi xel ci laaj yu bari
MQA dafa wane ni mën nga dagg boppu caabi / valeur yu bari te du am benn loraange, te gis-gis boobu leegi dafay forme LLM bu gaaw bu nekk. Doxalin bi dafa gëna jëm ci Grouped-Query Attention (GQA), ñu koy jëfandikoo ci Llama 2/3 ak ñeneen ñu bari, ñuy jëfandikoo ay grupu KV yu néew, du benn ngir defaraat kalite bi, di tëye li gëna bari ci gaawaay bi. Liggéey bi ci kanam dafay boole xalaat yooyu ak KV-cache compression, quantisation, ak bàyyi xel ci lu bari lu nëbbu ngir push contexte yu gëna gudd ak serwiis bu gëna xéewale.
Teg ko ci jëf
Lu tax mu am solo
- Gaawaay ak yaatuwaay. Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi.
- Dugg ak yegg. Dafay yaatal jëfandikoo gi ci làkk yi ak ci anam yi ñuy jokkoo.
- dogal yu gëna leer. Ekip yi mën nañu gëna yàgg ci àtte ci jamono ji otomatisation di liggéey ci baamtu.
Moytul
- Lépp lu jaarul yoon mën na dugg ci rapoor yi, jàppale ci liggéey bi, wala ci njariñu gëstu bi.
- Sensibilite bu gaaw mën na jur njariñ yu wuute ci laajte yu noonu mel.
- Done yu am solo mën nañu feeñ sudee seytu jëfandikoo gi néew doole.
Jéego yi ci topp
- Mandargal formaa génne gi, melokaan bi, ak standard kalite yi laata ngay dugal ko.
- Tontu yu am solo ak balluwaay yu wóor saa yu dëggu bi di am solo.
- Fexeel am barabu xool nit ñi ngir am njariñ yu am solo.
- Toppal anami gacce yi ak di faral di tàggataat ay laaj wala def-liggéey.
Weyal di banneexu
Bulletin bu amul fayda
Jàngal xibaar AI bu bes
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Take the Multi-Query Attention quiz
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Laaj yi ñuy faral di laaj
Luy bàyyi xel ci laaj yu bari?
Multi-Query Attention (MQA) dafay sakkanal mémoire ci transformateur biy séddoo benn xeetu caabi ak valeur ci bépp boppu attention. Dafay gaawlu bu baax defar mbind ndax dafay wàññi memory bi model bi wara jaxasoo.
Lan mooy Multi-Query Attention bokk ci bépp boppu bàyyi xel?
MQA dafay tàqale ay laaj ci bopp bu nekk waaye dafay bokk benn projection bu am solo ak benn projection valeur ci bopp yépp.
Lan mooy jafe-jafe bi njëkk bi MQA di saafara ci jamonoy defar autoregressive?
Yarsewaat cache KV bu mag bi jéego bu nekk dafay tënku ci yaatuwaayu band bi; MQA dafay wàññi cache bi ngir gaawlu dekodage bi.
Ci ban facteur la MQA di wàññi cache KV bi?
Ginaaw caabi yi ak valeur yi dañuy wàcci joge ci boppu H dem ci benn, cache bi dafay wàññeeku ci limu boppu yi.
Lan mooy njariñ li gëna am solo ci jëfandikoo MQA?
Séddoo caabi yi ak valeur yi dafay wàññi tuuti kàttan representation bi, moo waral kalite bi wàññeeku tuuti ci weccoo gaawaay bu rëy.
Ban anam moo nekk ci digganté bàyyi xel ci bopp yu bari ak MQA?
Grouped-Query Attention (GQA) dafay jëfandikoo ay grupu KV yu bari ci barabu benn, ngir yemale kalite ak gaawaay.
Weyal di jàng
Gid yu jëm ci loolu
Tann nañu yeneen njiit ngir topic bii