Çapraz Dikkat Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Öz-dikkat ile çapraz dikkat arasındaki temel fark nedir?
   • Çapraz dikkatte, sorgular bir diziden, anahtarlar/değerler ise diğerinden gelir
   • Çapraz dikkat softmax kullanmaz
   • Kişisel dikkat yalnızca görüntüler üzerinde işe yarar
   • Çapraz dikkat, gradyan inişiyle eğitilemez
2. Kodlayıcı-kod çözücü Transformer'da çapraz dikkat sorguları nereden geliyor?
   • Kodlayıcı çıkışları
   • Kod çözücünün mevcut durumu
   • Yalnızca ham girdi yerleştirmeleri
   • Ayrı bir rastgele matris
3. Çapraz dikkatteki iki sekans neden farklı uzunluklara veya tarzlara sahip olabilir?
   • Dikkat eşit uzunlukta girdiler gerektirdiğinden
   • Çünkü dizilerden birini tamamen görmezden geliyor
   • Çünkü sorgular ve anahtarlar farklı, bağımsız kaynaklardan gelir
   • Çünkü önce her şeyi sabit bir boyuta doldurur
4. Kararlı Dağılım çapraz dikkati nasıl kullanır?
   • Görüntüleri daha küçük dosyalara sıkıştırmak için
   • Metni diller arasında çevirmek için
   • Sesteki gürültüyü gidermek için
   • Metin isteminde oluşturulan görüntü bölgelerini koşullandırmak için
5. Çapraz dikkat, öz dikkatle hangi matematik işlemini paylaşıyor?
   • Softmax ile ölçeklendirilmiş nokta ürün dikkati
   • Pikseller üzerinde evrişim
   • Tekrarlanan durum güncellemeleri
   • Sabit kodlanmış arama tabloları
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs