Kuiz Perhatian Pertanyaan Berkumpulan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Dalam Perhatian Pertanyaan Berkumpulan, apakah yang dikongsi antara sekumpulan ketua pertanyaan?
   • Ketua kunci dan nilai
   • Unjuran keluaran sahaja
   • Benaman input
   • Kadar pembelajaran
2. GQA paling baik digambarkan sebagai jalan tengah antara dua ekstrem yang manakah?
   • Konvolusi dan perhatian
   • Perhatian penuh berbilang kepala dan perhatian berbilang pertanyaan
   • Ketepatan FP32 dan FP8
   • Model pengekod sahaja dan penyahkod sahaja
3. Apakah bahagian inferens yang GQA lebih murah?
   • Tokenisasi gesaan
   • Pengiraan kerugian latihan
   • Memori cache KV dan lebar jalurnya semasa penjanaan
   • Softmax terakhir atas perbendaharaan kata
4. Jika model mempunyai 32 kepala pertanyaan dan 8 kumpulan KV, cache KV dikurangkan dengan kira-kira faktor apa?
   • Kira-kira 32x
   • Lebih kurang 2x
   • Tiada pengurangan
   • Lebih kurang 4x
5. What quality/speed tradeoff did the GQA paper report in its experiments?
   • Quality close to MHA with inference speed closer to MQA
   • Lower quality and slower inference than both
   • Exactly the same latency and quality for every model
   • A result only on image classification
6. Bagaimanakah model berbilang kepala sedia ada sering ditukar kepada GQA?
   • Dengan memadam semua lapisan perhatian
   • Dengan langkah 'uptraining' pendek dari pusat pemeriksaan sedia ada
   • Dengan bertukar kepada tokenizer yang berbeza
   • Mereka tidak boleh ditukar sama sekali
7. Which task families did the GQA paper evaluate?
   • Image segmentation and object detection
   • Speech synthesis and speaker verification
   • Language modeling and machine translation
   • Molecular generation and toxicity prediction
8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
   • Kira-kira 50%
   • About 100%
   • No additional training compute
   • Kira-kira 5%