Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Többlekérdezés Figyelem Kvíz
Test how Multi-Query Attention shares key-value heads, reduces cache traffic, and relates to grouped-query attention in decoder models.
kérdés 1 -ból 8
Miben osztozik a többlekérdezéses figyelem az összes figyelemfelkeltő között?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miben osztozik a többlekérdezéses figyelem az összes figyelemfelkeltő között?
- Egyetlen kulcs- és értékkészlet
- A lekérdezés előrejelzései
- A softmax hőmérséklet
- A kimeneti réteg súlya
- Mi az az elsődleges szűk keresztmetszet, amelyet az MQA kezel az autoregresszív generálás során?
- Lebegőpontos számítási átviteli sebesség
- Memória sávszélessége a KV gyorsítótár betöltésekor
- A képzési korszakok száma
- Tokenizátor szókincs mérete
- Körülbelül milyen tényezővel csökkenti az MQA a KV gyorsítótárat?
- A sorozat hosszával
- A tétel nagysága szerint
- A figyelemfejek száma szerint
- Nem változtatja meg a KV gyorsítótár méretét
- Mi az MQA használatának fő kompromisszuma?
- Sokkal lassabb következtetés
- Már egyáltalán nem tud több fejet használni
- Sokkal több edzési adatot igényel
- Szerény csökkenés a modell minőségében
- Melyik változat áll a standard többfejes figyelem és az MQA között?
- Csoportos lekérdezés Figyelem
- Tolóablak Figyelem
- Flash Figyelem
- Gyér figyelem
- Ki javasolta a Többlekérdezés-figyelmet?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once