Kvíz spojený s průvodcem · Střední úroveň

Kvíz zaměřený na skupinový dotaz

Podívejte se, jak pozornost seskupených dotazů sdílí hlavy klíč/hodnota, snižuje náklady na mezipaměť generování a lze ji získat ze stávajících kontrolních bodů.

Související vodicí cestySeskupený dotaz Pozor
Otázka 1 z 8

Co je v Grouped-Query Attention sdíleno mezi skupinou hlav dotazů?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je v Grouped-Query Attention sdíleno mezi skupinou hlav dotazů?
    • Klíčové a hodnotové hlavy
    • Pouze výstupní projekce
    • Vstupní vložení
    • Míra učení
  2. GQA lze nejlépe popsat jako střední cestu mezi kterými dvěma extrémy?
    • Konvoluce a pozornost
    • Plná vícehlavá pozornost a vícedotazová pozornost
    • Přesnost FP32 a FP8
    • Modely pouze s kodérem a pouze s dekodérem
  3. Jakou část závěrů GQA primárně zlevňuje?
    • Tokenizace výzvy
    • Výpočet ztráty tréninku
    • Vyrovnávací paměť KV a její šířka pásma během generování
    • Závěrečný softmax nad slovní zásobou
  4. Pokud má model 32 dotazovacích hlav a 8 skupin KV, o jaký faktor se zhruba sníží mezipaměť KV?
    • Asi 32x
    • Asi 2x
    • Žádná redukce
    • Asi 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Jak se často převádějí stávající modely s více hlavami na GQA?
    • Smazáním všech vrstev pozornosti
    • Krátkým „zaškolovacím“ krokem ze stávajícího kontrolního bodu
    • Přepnutím na jiný tokenizér
    • Nedají se vůbec převést
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • asi 50 %
    • About 100%
    • No additional training compute
    • asi 5 %