Dikkat Yayınlama ve Kafa Budama Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Dikkat dağıtmanın amacı nedir?
   • Katmanlar arasında girdi belirteçlerinden çıktılara kadar kümülatif bilgi akışını izlemek için
   • Transformer'a daha fazla katman eklemek için
   • Öğrenme oranını artırmak için
   • Dikkati evrişime dönüştürmek için
2. Tek bir katmanın dikkat haritası neden çoğu zaman açıklama için yetersiz kalıyor?
   • Dikkat hiçbir zaman hesaplanmaz
   • Bilgi birçok katman ve başlıkta karışıyor, dolayısıyla bir harita tam yolu kaçırıyor
   • Haritalar her zaman aynıdır
   • Transformatörlerin yalnızca bir kafası vardır
3. Dikkatin yaygınlaştırılması, kalan bağlantıları hesaba katmak için her bir dikkat matrisine ne katıyor?
   • Sıfır önyargı
   • Rastgele bir gürültü terimi
   • Normalleştirmeden önce bir kimlik matrisi bileşeni
   • Ekstra bir softmax
4. Çok kafalı dikkat üzerine yapılan araştırmalar kafa fazlalığı hakkında neyi ortaya çıkardı?
   • Her kafa önemlidir
   • Başlıklar çıkarılamaz
   • Budama her zaman doğruluğu iki katına çıkarır
   • Pek çok kafa çok az doğruluk kaybıyla budanabilir
5. Budama için bir başın önemi genellikle nasıl tahmin edilir?
   • Bir kafa maskesindeki kaybın gradyan bazlı hassasiyeti yoluyla
   • Alfabetik konumuna göre
   • Sadece parametrelerini sayarak
   • Günün saatine göre
6. What different jobs do attention rollout and head pruning each do?
   • Bunlar aynı tekniklerdir
   • Budama, modelleri sıkıştırmak için fazlalıktan yararlanırken kullanıma sunma yorumlamaya yardımcı olur
   • Her ikisi de yalnızca parametre ekler
   • İkisi de dikkat çekmiyor
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation