Çok Kafalı Gizli Dikkat Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Çok Kafalı Gizli Dikkatin azaltmak için tasarlandığı temel sorun nedir?
   • Çıkarım sırasında anahtar/değer önbelleğinin bellek maliyeti
   • Eğitim verisi kıtlığı
   • Model parametrelerinin sayısı
   • Tokenizer sözcük boyutu
2. MLA, KV önbelleğini nasıl küçültür?
   • Eski belirteçleri önbellekten siler
   • Tam kafa başına anahtarlar ve değerler yerine küçük, düşük dereceli bir gizli vektörü saklar
   • Her şey için 1 bitlik ağırlıklar kullanır
   • Bazı belirteçlerde dikkati tamamen atlıyor
3. Çok Kafalı Gizli Dikkati ilk kez hangi model tanıttı?
   • GPT-2
   • BERT
   • DeepSeek-V2
   • LLaMA 1
4. MLA'nın neden döner konum yerleştirmeleri için ayrı bir 'ayrılmış' yola ihtiyacı var?
   • Çünkü pozisyonların dikkatle alakası yoktur
   • Çünkü RoPE kelime dağarcığını iki katına çıkarır
   • Çünkü optimize ediciyi hızlandırır
   • Çünkü dönüş, anahtarın geri kalanı gibi absorbe edilmiş yukarı projeksiyona katlanamaz
5. DeepSeek-V2, standart çok kafalı dikkat ile karşılaştırıldığında MLA'dan kabaca ne kadar KV önbellek belleği azalması bildirdi?
   • %90'ın üzerinde
   • Yaklaşık %5
   • Tam olarak %50
   • Azaltma yok, yalnızca hız artışı var
6. MLA'nın daha küçük jeton başına önbelleğinden doğrudan ne gibi pratik faydalar elde edilir?
   • Herhangi bir GPU ihtiyacının ortadan kaldırılması
   • Aynı donanımda daha büyük çıkarım toplu boyutları ve daha uzun bağlamlar
   • Tüm dillere otomatik çeviri
   • Softmax işleminin kaldırılması
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections