Kuiz berkaitan panduan · Keras Tahap
Kuiz Perhatian Terpendam Berbilang Kepala
Terokai cache pendam kongsi MLA, pembinaan semula peringkat rendah, penyerapan unjuran, laluan pengekodan kedudukan dan penjimatan ingatan inferens.
soalan 1 daripada 8
Apakah masalah utama Multi-Head Latent Attention direka untuk mengurangkan?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah masalah utama Multi-Head Latent Attention direka untuk mengurangkan?
- Kos memori cache nilai kunci semasa inferens
- Kekurangan data latihan
- Bilangan parameter model
- Saiz perbendaharaan kata Tokenizer
- Bagaimanakah MLA mengecilkan cache KV?
- Ia memadamkan token lama daripada cache
- Ia menyimpan vektor terpendam berpangkat rendah kecil dan bukannya kunci dan nilai setiap kepala penuh
- Ia menggunakan pemberat 1-bit untuk segala-galanya
- Ia melangkau perhatian sepenuhnya pada beberapa token
- Model manakah yang pertama kali memperkenalkan Multi-Head Latent Attention?
- GPT-2
- BERT
- DeepSeek-V2
- LLaMA 1
- Mengapakah MLA memerlukan laluan 'decoupled' yang berasingan untuk benam kedudukan berputar?
- Kerana jawatan tidak relevan dengan perhatian
- Kerana RoPE menggandakan kosa kata
- Kerana ia mempercepatkan pengoptimuman
- Kerana putaran tidak boleh dilipat ke dalam unjuran atas yang diserap seperti yang lain pada kunci
- Secara kasar berapa banyak pengurangan memori cache KV yang dilaporkan DeepSeek-V2 daripada MLA berbanding perhatian berbilang kepala standard?
- Lebih 90%
- Kira-kira 5%
- Tepat 50%
- Tiada pengurangan, hanya peningkatan kelajuan
- Apakah faedah praktikal berikut secara langsung daripada cache per-token yang lebih kecil MLA?
- Penghapusan keperluan untuk mana-mana GPU
- Saiz kelompok inferens yang lebih besar dan konteks yang lebih panjang pada perkakasan yang sama
- Terjemahan automatik ke dalam semua bahasa
- Mengalih keluar operasi softmax
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections