Kuiz berkaitan panduan · Keras Tahap

Kuiz Perhatian Terpendam Berbilang Kepala

Terokai cache pendam kongsi MLA, pembinaan semula peringkat rendah, penyerapan unjuran, laluan pengekodan kedudukan dan penjimatan ingatan inferens.

Laluan panduan yang berkaitanPerhatian Terpendam Berbilang Kepala
soalan 1 daripada 8

Apakah masalah utama Multi-Head Latent Attention direka untuk mengurangkan?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah masalah utama Multi-Head Latent Attention direka untuk mengurangkan?
    • Kos memori cache nilai kunci semasa inferens
    • Kekurangan data latihan
    • Bilangan parameter model
    • Saiz perbendaharaan kata Tokenizer
  2. Bagaimanakah MLA mengecilkan cache KV?
    • Ia memadamkan token lama daripada cache
    • Ia menyimpan vektor terpendam berpangkat rendah kecil dan bukannya kunci dan nilai setiap kepala penuh
    • Ia menggunakan pemberat 1-bit untuk segala-galanya
    • Ia melangkau perhatian sepenuhnya pada beberapa token
  3. Model manakah yang pertama kali memperkenalkan Multi-Head Latent Attention?
    • GPT-2
    • BERT
    • DeepSeek-V2
    • LLaMA 1
  4. Mengapakah MLA memerlukan laluan 'decoupled' yang berasingan untuk benam kedudukan berputar?
    • Kerana jawatan tidak relevan dengan perhatian
    • Kerana RoPE menggandakan kosa kata
    • Kerana ia mempercepatkan pengoptimuman
    • Kerana putaran tidak boleh dilipat ke dalam unjuran atas yang diserap seperti yang lain pada kunci
  5. Secara kasar berapa banyak pengurangan memori cache KV yang dilaporkan DeepSeek-V2 daripada MLA berbanding perhatian berbilang kepala standard?
    • Lebih 90%
    • Kira-kira 5%
    • Tepat 50%
    • Tiada pengurangan, hanya peningkatan kelajuan
  6. Apakah faedah praktikal berikut secara langsung daripada cache per-token yang lebih kecil MLA?
    • Penghapusan keperluan untuk mana-mana GPU
    • Saiz kelompok inferens yang lebih besar dan konteks yang lebih panjang pada perkakasan yang sama
    • Terjemahan automatik ke dalam semua bahasa
    • Mengalih keluar operasi softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections