Kuis Perhatian Multi-Permintaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dibagikan oleh Perhatian Multi-Kueri di semua kepala perhatian?
   • Satu set kunci dan nilai
   • Proyeksi kueri
   • Suhu softmax
   • Bobot lapisan keluaran
2. Apa hambatan utama yang diatasi MQA selama pembuatan autoregresif?
   • Throughput komputasi titik mengambang
   • Bandwidth memori dari memuat cache KV
   • Jumlah periode pelatihan
   • Ukuran kosakata Tokenizer
3. Kira-kira dengan faktor apa MQA mengecilkan cache KV?
   • Berdasarkan panjang urutannya
   • Berdasarkan ukuran batch
   • Dengan jumlah kepala perhatian
   • Itu tidak mengubah ukuran cache KV
4. Apa keuntungan utama menggunakan MQA?
   • Inferensi jauh lebih lambat
   • Ia tidak bisa lagi menggunakan banyak kepala sama sekali
   • Ini membutuhkan lebih banyak data pelatihan
   • Sedikit penurunan kualitas model
5. Varian manakah yang berada di antara perhatian multi-head standar dan MQA?
   • Perhatian Kueri yang Dikelompokkan
   • Perhatian Jendela Geser
   • Perhatian Kilat
   • Perhatian yang Jarang
6. Siapa yang mengusulkan Perhatian Multi-Kueri?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpati
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once