Kvíz spojený s průvodcem · Střední úroveň
Kvíz zaměřený na skupinový dotaz
Podívejte se, jak pozornost seskupených dotazů sdílí hlavy klíč/hodnota, snižuje náklady na mezipaměť generování a lze ji získat ze stávajících kontrolních bodů.
Otázka 1 z 8
Co je v Grouped-Query Attention sdíleno mezi skupinou hlav dotazů?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je v Grouped-Query Attention sdíleno mezi skupinou hlav dotazů?
- Klíčové a hodnotové hlavy
- Pouze výstupní projekce
- Vstupní vložení
- Míra učení
- GQA lze nejlépe popsat jako střední cestu mezi kterými dvěma extrémy?
- Konvoluce a pozornost
- Plná vícehlavá pozornost a vícedotazová pozornost
- Přesnost FP32 a FP8
- Modely pouze s kodérem a pouze s dekodérem
- Jakou část závěrů GQA primárně zlevňuje?
- Tokenizace výzvy
- Výpočet ztráty tréninku
- Vyrovnávací paměť KV a její šířka pásma během generování
- Závěrečný softmax nad slovní zásobou
- Pokud má model 32 dotazovacích hlav a 8 skupin KV, o jaký faktor se zhruba sníží mezipaměť KV?
- Asi 32x
- Asi 2x
- Žádná redukce
- Asi 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- Jak se často převádějí stávající modely s více hlavami na GQA?
- Smazáním všech vrstev pozornosti
- Krátkým „zaškolovacím“ krokem ze stávajícího kontrolního bodu
- Přepnutím na jiný tokenizér
- Nedají se vůbec převést
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- asi 50 %
- About 100%
- No additional training compute
- asi 5 %