Kuis Perhatian Kueri yang Dikelompokkan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam Perhatian Kueri yang Dikelompokkan, apa yang dibagikan di antara sekelompok kepala kueri?
   • Kepala kunci dan nilai
   • Proyeksi keluaran saja
   • Penyematan masukan
   • Kecepatan pembelajaran
2. GQA paling tepat digambarkan sebagai jalan tengah antara dua ekstrem yang mana?
   • Konvolusi dan perhatian
   • Perhatian multi-kepala penuh dan perhatian multi-kueri
   • Presisi FP32 dan FP8
   • Model khusus encoder dan decoder saja
3. Bagian inferensi manakah yang terutama dibuat lebih murah oleh GQA?
   • Tokenisasi prompt
   • Perhitungan kerugian pelatihan
   • Memori cache KV dan bandwidthnya selama pembuatan
   • Softmax terakhir atas kosakata
4. Jika suatu model memiliki 32 kepala kueri dan 8 grup KV, cache KV dikurangi kira-kira dengan faktor apa?
   • Sekitar 32x
   • Sekitar 2x
   • Tidak ada pengurangan
   • Sekitar 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Bagaimana model multi-head yang ada sering dikonversi ke GQA?
   • Dengan menghapus semua lapisan perhatian
   • Dengan langkah 'pelatihan' singkat dari pos pemeriksaan yang ada
   • Dengan beralih ke tokenizer yang berbeda
   • Mereka tidak dapat bertobat sama sekali
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Sekitar 50%
   • Sekitar 100%
   • No additional training compute
   • Sekitar 5%