Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Perhatian Berbilang Pertanyaan
Uji cara Perhatian Berbilang Pertanyaan berkongsi kepala nilai kunci, mengurangkan trafik cache dan berkaitan dengan perhatian pertanyaan berkumpulan dalam model penyahkod.
soalan 1 daripada 8
Apakah yang dikongsikan Perhatian Berbilang Pertanyaan di semua ketua perhatian?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah yang dikongsikan Perhatian Berbilang Pertanyaan di semua ketua perhatian?
- Satu set kunci dan nilai
- Unjuran pertanyaan
- Suhu softmax
- Berat lapisan keluaran
- Apakah kesesakan utama yang ditangani MQA semasa penjanaan autoregresif?
- Daya pengiraan titik terapung
- Jalur lebar memori daripada memuatkan cache KV
- Bilangan zaman latihan
- Saiz perbendaharaan kata Tokenizer
- Dengan kira-kira faktor apakah MQA mengecilkan cache KV?
- Dengan panjang urutan
- Mengikut saiz kumpulan
- Mengikut bilangan ketua perhatian
- Ia tidak menukar saiz cache KV
- Apakah pertukaran utama penggunaan MQA?
- Inferens jauh lebih perlahan
- Ia tidak lagi boleh menggunakan berbilang kepala sama sekali
- Ia memerlukan lebih banyak data latihan
- Penurunan sederhana dalam kualiti model
- Varian yang manakah terletak di antara perhatian berbilang kepala standard dan MQA?
- Perhatian Pertanyaan Berkumpulan
- Perhatian Tetingkap Gelongsor
- Perhatian Kilat
- Perhatian Jarang
- Siapa yang mencadangkan Perhatian Berbilang Pertanyaan?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once