Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Perhatian Berbilang Pertanyaan

Uji cara Perhatian Berbilang Pertanyaan berkongsi kepala nilai kunci, mengurangkan trafik cache dan berkaitan dengan perhatian pertanyaan berkumpulan dalam model penyahkod.

Laluan panduan yang berkaitanPerhatian Berbilang Pertanyaan
soalan 1 daripada 8

Apakah yang dikongsikan Perhatian Berbilang Pertanyaan di semua ketua perhatian?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang dikongsikan Perhatian Berbilang Pertanyaan di semua ketua perhatian?
    • Satu set kunci dan nilai
    • Unjuran pertanyaan
    • Suhu softmax
    • Berat lapisan keluaran
  2. Apakah kesesakan utama yang ditangani MQA semasa penjanaan autoregresif?
    • Daya pengiraan titik terapung
    • Jalur lebar memori daripada memuatkan cache KV
    • Bilangan zaman latihan
    • Saiz perbendaharaan kata Tokenizer
  3. Dengan kira-kira faktor apakah MQA mengecilkan cache KV?
    • Dengan panjang urutan
    • Mengikut saiz kumpulan
    • Mengikut bilangan ketua perhatian
    • Ia tidak menukar saiz cache KV
  4. Apakah pertukaran utama penggunaan MQA?
    • Inferens jauh lebih perlahan
    • Ia tidak lagi boleh menggunakan berbilang kepala sama sekali
    • Ia memerlukan lebih banyak data latihan
    • Penurunan sederhana dalam kualiti model
  5. Varian yang manakah terletak di antara perhatian berbilang kepala standard dan MQA?
    • Perhatian Pertanyaan Berkumpulan
    • Perhatian Tetingkap Gelongsor
    • Perhatian Kilat
    • Perhatian Jarang
  6. Siapa yang mencadangkan Perhatian Berbilang Pertanyaan?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once