Kuis Perhatian Laten Multi-Kepala

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa masalah utama yang dirancang untuk dikurangi Perhatian Laten Multi-Kepala?
   • Biaya memori cache nilai kunci selama inferensi
   • Kelangkaan data pelatihan
   • Jumlah parameter model
   • Ukuran kosakata Tokenizer
2. Bagaimana cara MLA mengecilkan cache KV?
   • Ini menghapus token lama dari cache
   • Ini menyimpan vektor laten kecil tingkat rendah alih-alih kunci dan nilai per kepala penuh
   • Ia menggunakan bobot 1-bit untuk semuanya
   • Ini mengabaikan perhatian sepenuhnya pada beberapa token
3. Model mana yang pertama kali memperkenalkan Multi-Head Latent Attention?
   • GPT-2
   • BERT
   • DeepSeek-V2
   • LLaMA 1
4. Mengapa MLA memerlukan jalur 'terpisah' terpisah untuk penyematan posisi putar?
   • Karena posisi tidak relevan untuk diperhatikan
   • Karena RoPE menggandakan kosakata
   • Karena itu mempercepat pengoptimal
   • Karena rotasi tidak dapat dilipat menjadi proyeksi ke atas yang diserap seperti yang dapat dilakukan oleh kunci lainnya
5. Kira-kira berapa banyak pengurangan memori cache KV yang dilaporkan DeepSeek-V2 dari MLA dibandingkan perhatian multi-head standar?
   • Lebih dari 90%
   • Sekitar 5%
   • Tepat 50%
   • Tidak ada pengurangan, hanya peningkatan kecepatan
6. Apa manfaat praktis yang diperoleh langsung dari cache per token MLA yang lebih kecil?
   • Menghilangkan kebutuhan akan GPU apa pun
   • Ukuran kumpulan inferensi yang lebih besar dan konteks yang lebih panjang pada perangkat keras yang sama
   • Terjemahan otomatis ke semua bahasa
   • Penghapusan operasi softmax
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections