DalšíDalší průvodce
Pozornost na seskupené dotazy
Jazyk AI
Jazyk AI GUIDE
Multi-Query Attention (MQA) je paměť šetřící twist na pozornost transformátoru, který sdílí jednu sadu klíčů a hodnot napříč všemi hlavami pozornosti.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Dramaticky urychluje generování textu zmenšením paměti, kterou musí model prohazovat.
Standardní vícehlavá pozornost dává každé hlavě vlastní projekce dotazu, klíče a hodnoty. Během generování musí být klíče a hodnoty všech minulých tokenů uloženy do mezipaměti a znovu načteny v každém kroku — tato mezipaměť KV se stává hlavním úzkým hrdlem, protože její čtení z paměti je pomalejší než samotná matematika. Multi-Query Attention, navržený Noamem Shazeerem v roce 2019, uchovává samostatné projekce dotazů na hlavu, ale sbaluje klíče a hodnoty do jedné sdílené hlavy. Tím se KV cache zmenší o faktor rovný počtu hlav, někdy 8x až 64x menší. Výsledkem je mnohem rychlejší autoregresivní dekódování a lehčí paměťová stopa s pouze mírným poklesem kvality. Střední cesta, Grouped-Query Attention, vyvažuje kompromis.
Urychlení generování tokenu po tokenu v chatových asistentech, kde propustnost omezuje mezipaměť KV, nikoli nezpracovaný výpočet.
PaLM společnosti Google, která používala Multi-Query Attention k umožnění efektivního vyvozování velkého rozsahu.
Obsluhování mnoha souběžných uživatelů na jednom GPU zmenšením mezipaměti KV na žádost.
Grouped-Query Attention v Llama 2 70B a Llama 3, přímý potomek vyvažující rychlost MQA s kvalitou plné pozornosti.
MQA zjistila, že můžete ořezat redundantní klíč/hodnota hlavy s malým poškozením, a tento náhled nyní formuje téměř každý LLM s rychlým odvozením. Pole se do značné míry sblížilo s Grouped-Query Attention (GQA), používaným v Llama 2/3 a mnoha dalších, které k obnovení kvality využívají spíše několik skupin KV než jednu, přičemž si zachovává většinu zrychlení. Budoucí práce spojí tyto myšlenky s kompresí KV-cache, kvantizací a multilatentní pozorností, aby se prosadily delší kontexty a levnější poskytování.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Multi-Query Attention (MQA) je paměť šetřící twist na pozornost transformátoru, který sdílí jednu sadu klíčů a hodnot napříč všemi hlavami pozornosti. Dramaticky urychluje generování textu zmenšením paměti, kterou musí model prohazovat.
MQA uchovává samostatné dotazy na hlavu, ale sdílí jednu klíčovou projekci a jednu hodnotovou projekci napříč všemi hlavami.
Opětovné načítání velké mezipaměti KV je každý krok vázán na šířku pásma; MQA zmenšuje mezipaměť, aby urychlila dekódování.
Protože se klíče a hodnoty zhroutí z H hlav na jednu, mezipaměť se zmenší přibližně o počet hlav.
Sdílení klíčů a hodnot mírně snižuje reprezentační kapacitu, což způsobuje malý pokles kvality výměnou za velké zvýšení rychlosti.
Grouped-Query Attention (GQA) používá několik skupin KV místo jedné, čímž vyvažuje kvalitu a rychlost.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Pozornost na seskupené dotazy
Jazyk AI