Kvíz spojený s průvodcem · Střední úroveň

Multi-Query Attention Kvíz

Vyzkoušejte, jak Multi-Query Attention sdílí hlavičky klíč–hodnota, snižuje provoz mezipaměti a jak souvisí s pozorností seskupených dotazů v modelech dekodérů.

Související vodicí cestyMulti Query Pozor
Otázka 1 z 8

Co sdílí Multi-Query Attention napříč všemi hlavami pozornosti?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co sdílí Multi-Query Attention napříč všemi hlavami pozornosti?
    • Jediná sada klíčů a hodnot
    • Projekce dotazu
    • Teplota softmax
    • Váhy výstupní vrstvy
  2. Jaké je hlavní úzké místo, které MQA řeší během autoregresního generování?
    • Propustnost výpočtu s pohyblivou řádovou čárkou
    • Šířka pásma paměti při načítání mezipaměti KV
    • Počet tréninkových epoch
    • Velikost slovní zásoby tokenizeru
  3. Jakým zhruba faktorem MQA zmenšuje mezipaměť KV?
    • Podle délky sekvence
    • Podle velikosti šarže
    • Podle počtu hlav pozornosti
    • Nemění velikost mezipaměti KV
  4. Jaký je hlavní kompromis používání MQA?
    • Mnohem pomalejší vyvozování
    • Už vůbec neumí používat více hlav
    • Vyžaduje mnohem více tréninkových dat
    • Mírný pokles kvality modelu
  5. Která varianta se nachází mezi standardní vícehlavou pozorností a MQA?
    • Pozornost na seskupené dotazy
    • Posuvné okno Pozor
    • Blesková pozornost
    • Řídká pozornost
  6. Kdo navrhl Multi-Query Attention?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once