Flaş Dikkat Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Flash Attention'ın hedeflediği ana darboğaz nedir?
   • GPU belleğini yavaşlatmak için büyük dikkat matrisini okuma ve yazma
   • Dikkatteki kayan nokta çarpımlarının sayısı
   • Model ağırlıklarını diskten yüklemenin maliyeti
   • Birden fazla GPU arasındaki ağ gecikmesi
2. Flash Attention N'ye N dikkat matrisinin tamamının saklanmasını nasıl önler?
   • Rastgele projeksiyonlarla dikkati yakınlaştırır
   • Küçük kutucuklardaki sorguları, anahtarları ve değerleri işler ve kısmi sonuçları birleştirir
   • Çoğu jeton çiftini tamamen atlar
   • Matrisin kuantizasyonla sıkıştırılması
3. Hangi teknik Flash Attention'ın tüm satırı aynı anda görmeden softmax'ı doğru hesaplamasını sağlar?
   • Üstel sayılar için önceden hesaplanmış bir arama tablosu
   • Softmax'ı düşürmek ve doğrusal bir yaklaşım kullanmak
   • Çalışan maksimum ve toplamı izleyen, çalışan (çevrimiçi) bir softmax
   • Normalleştirmeden önce puanları sıralama
4. Standart dikkat ile karşılaştırıldığında Flash Attention'ın çıktısı şöyledir:
   • Hız için doğruluktan ödün veren kaba bir yaklaşım
   • Daha yüksek hassasiyet nedeniyle daha doğru
   • Yalnızca kısa diziler için geçerlidir
   • Matematiksel olarak aynı, sadece daha verimli hesaplanıyor
5. Flash Attention neden en çok uzun dizilerde yardımcı oluyor?
   • Çünkü dikkat hafızası dizi uzunluğuyla ikinci dereceden büyür
   • Çünkü daha uzun diziler daha az katmana ihtiyaç duyar
   • Çünkü softmax uzun girişler için gereksiz hale gelir
   • Çünkü GPU'lar kısa dizilerde daha yavaş çalışır
6. Flash Attention'ın 'GÇ uyumlu' tasarımı neyi en aza indirmeye öncelik verir?
   • Model parametrelerinin sayısı
   • Bellek SRAM ve HBM arasında okur ve yazar
   • Sinir ağının derinliği
   • Tokenizer'ın kelime büyüklüğü
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation