Rehber bağlantılı sınav · Orta Seviye

FlashDikkat Testi

FlashAttention'ın tam dikkati hesaplarken yüksek bant genişliğine sahip bellek trafiğini nasıl azalttığını ve FlashAttention-3 hedeflerini hangi donanımın değiştirdiğini kontrol edin.

İlgili kılavuz yollarıFlashdikkat
Soru 1 arasında 8

FlashAttention'ın standart dikkatteki ana darboğaz hedefleri nelerdir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. FlashAttention'ın standart dikkatteki ana darboğaz hedefleri nelerdir?
    • GPU belleğini yavaşlatmak için büyük dikkat matrisini okuma ve yazma
    • Kayan nokta çarpımlarının sayısı
    • Giriş metnini tokenleştirmenin maliyeti
    • GPU'lar arasındaki ağ gecikmesi
  2. FlashAttention'ın çıktısı standart dikkatle nasıl karşılaştırılır?
    • Doğruluğu hıza tercih eden bir yaklaşımdır
    • Matematiksel olarak aynıdır (tam)
    • Yalnızca kısa diziler için işe yarar
    • Modelin ağırlıklarını değiştirir
  3. FlashAttention kutucuklardaki verileri işleyerek hangi GPU belleğinden yararlanır?
    • Büyük ama yavaş yüksek bant genişlikli bellek (HBM)
    • CPU'nun RAM'i
    • Küçük ama çok hızlı çip üzerindeki SRAM
    • Disk depolama
  4. FlashAttention'ın tüm puanları aynı anda görmeden softmax hesaplamasını hangi teknik sağlar?
    • Softmax'ı tamamen atlamak
    • Tüm puanları sıfıra yuvarlama
    • CPU üzerinde ön hesaplama softmax'ı
    • Çalışan yeniden ölçeklendirme ile çevrimiçi (artımlı) softmax
  5. Dikkat matrisinin tamamı hiçbir zaman HBM'de saklanmadığı için bellek kullanımı kabaca ölçeklenir:
    • Dizi uzunluğuyla doğrusal
    • Dizi uzunluğuyla ikinci dereceden
    • Dizi uzunluğuyla üstel olarak
    • Dizi uzunluğundan bağımsız olarak
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware