Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Többlekérdezés Figyelem Kvíz

Test how Multi-Query Attention shares key-value heads, reduces cache traffic, and relates to grouped-query attention in decoder models.

Kapcsolódó útmutató utakTöbb lekérdezés Figyelem
kérdés 1 -ból 8

Miben osztozik a többlekérdezéses figyelem az összes figyelemfelkeltő között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miben osztozik a többlekérdezéses figyelem az összes figyelemfelkeltő között?
    • Egyetlen kulcs- és értékkészlet
    • A lekérdezés előrejelzései
    • A softmax hőmérséklet
    • A kimeneti réteg súlya
  2. Mi az az elsődleges szűk keresztmetszet, amelyet az MQA kezel az autoregresszív generálás során?
    • Lebegőpontos számítási átviteli sebesség
    • Memória sávszélessége a KV gyorsítótár betöltésekor
    • A képzési korszakok száma
    • Tokenizátor szókincs mérete
  3. Körülbelül milyen tényezővel csökkenti az MQA a KV gyorsítótárat?
    • A sorozat hosszával
    • A tétel nagysága szerint
    • A figyelemfejek száma szerint
    • Nem változtatja meg a KV gyorsítótár méretét
  4. Mi az MQA használatának fő kompromisszuma?
    • Sokkal lassabb következtetés
    • Már egyáltalán nem tud több fejet használni
    • Sokkal több edzési adatot igényel
    • Szerény csökkenés a modell minőségében
  5. Melyik változat áll a standard többfejes figyelem és az MQA között?
    • Csoportos lekérdezés Figyelem
    • Tolóablak Figyelem
    • Flash Figyelem
    • Gyér figyelem
  6. Ki javasolta a Többlekérdezés-figyelmet?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once