Seyrek Dikkat Modelleri Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Uzun sekanslarda tam kendine dikkat neden pahalıdır?
   • Maliyeti dizi uzunluğunun karesi ile artar
   • GPU'ları kullanamaz
   • Yalnızca kısa kelimelerde işe yarar
   • Hiç hafıza gerektirmez
2. Kayan pencere (yerel) dikkat nedir?
   • Her jeton rastgele bir veritabanına katılır
   • Her jeton yalnızca yakındaki komşularına katılır
   • Jetonlar hiçbir zaman hiçbir şeye katılmaz
   • Her jeton tüm jetonlara iki kez katılır
3. Seyrek dikkatteki 'küresel belirteçlerin' amacı nedir?
   • Modeli yavaşlatmak için
   • Görüntüleri saklamak için
   • Her şeyle ilgilenen ve her şeyin ilgilendiği merkezler olarak hareket etmek
   • Kelime dağarcığını değiştirmek için
4. Rastgele, pencereli ve küresel dikkati birleştirmenin tam dikkat ifadesini koruduğunu hangi model kanıtladı?
   • ResNet
   • Word2Vec
   • AlexNet
   • Büyük Kuş
5. İyi tasarlanmış seyrek dikkatte bağlantıların sayısı kabaca nasıl ölçeklenir?
   • Dizi uzunluğuyla kabaca doğrusal
   • Dizi uzunluğuyla ikinci dereceden
   • Uzunluğa bağlı değildir
   • Dizi uzunluğuyla üstel olarak
6. What do strided or dilated sparse-attention patterns allow?
   • Bunları hesaplar ve sonra sıfıra ayarlar
   • Skip ahead to reach distant context with fewer attention links
   • Onları başka bir sunucuya gönderir
   • Bunları kalıcı olarak saklar
7. How does Longformer combine local and global attention?
   • Every token attends to every other token
   • Only random edges are allowed
   • Most tokens use a sliding local window, while selected global tokens connect across the sequence
   • Each token attends only to the final token
8. What is the goal of learned, content-based sparse attention?
   • A full dense connection to every token
   • A rule for removing all future tokens
   • A learned vocabulary for each attention head
   • Avoid spending attention compute and memory on content unrelated to the current query