Kvíz spojený s průvodcem · Střední úroveň
Multi-Query Attention Kvíz
Vyzkoušejte, jak Multi-Query Attention sdílí hlavičky klíč–hodnota, snižuje provoz mezipaměti a jak souvisí s pozorností seskupených dotazů v modelech dekodérů.
Otázka 1 z 8
Co sdílí Multi-Query Attention napříč všemi hlavami pozornosti?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co sdílí Multi-Query Attention napříč všemi hlavami pozornosti?
- Jediná sada klíčů a hodnot
- Projekce dotazu
- Teplota softmax
- Váhy výstupní vrstvy
- Jaké je hlavní úzké místo, které MQA řeší během autoregresního generování?
- Propustnost výpočtu s pohyblivou řádovou čárkou
- Šířka pásma paměti při načítání mezipaměti KV
- Počet tréninkových epoch
- Velikost slovní zásoby tokenizeru
- Jakým zhruba faktorem MQA zmenšuje mezipaměť KV?
- Podle délky sekvence
- Podle velikosti šarže
- Podle počtu hlav pozornosti
- Nemění velikost mezipaměti KV
- Jaký je hlavní kompromis používání MQA?
- Mnohem pomalejší vyvozování
- Už vůbec neumí používat více hlav
- Vyžaduje mnohem více tréninkových dat
- Mírný pokles kvality modelu
- Která varianta se nachází mezi standardní vícehlavou pozorností a MQA?
- Pozornost na seskupené dotazy
- Posuvné okno Pozor
- Blesková pozornost
- Řídká pozornost
- Kdo navrhl Multi-Query Attention?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once