Çoklu Sorgu Dikkat Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Çoklu Sorgu Dikkati tüm dikkat kafalarında neyi paylaşıyor?
   • Tek bir anahtar ve değer kümesi
   • Sorgu tahminleri
   • Softmax sıcaklığı
   • Çıkış katmanı ağırlıkları
2. Otoregresif oluşturma sırasında MQA'nın ele aldığı birincil darboğaz nedir?
   • Kayan nokta hesaplama verimi
   • KV önbelleğinin yüklenmesinden kaynaklanan bellek bant genişliği
   • Eğitim dönemi sayısı
   • Tokenizer sözcük boyutu
3. MQA, KV önbelleğini kabaca hangi faktörle küçültür?
   • Sıra uzunluğuna göre
   • Parti büyüklüğüne göre
   • Dikkat kafalarının sayısına göre
   • KV önbellek boyutunu değiştirmez
4. MQA kullanmanın temel avantajı nedir?
   • Çok daha yavaş çıkarım
   • Artık birden fazla kafa kullanamaz
   • Çok daha fazla eğitim verisi gerektirir
   • Model kalitesinde mütevazı bir düşüş
5. Hangi değişken standart çok kafalı dikkat ile MQA arasında yer alır?
   • Gruplandırılmış Sorgu Dikkati
   • Sürgülü Pencere Dikkati
   • Flaş Dikkati
   • Seyrek Dikkat
6. Çoklu Sorgu Dikkatini kim önerdi?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once