Kuis Perhatian Kilat

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa hambatan utama yang menjadi target Flash Attention?
   • Membaca dan menulis matriks perhatian besar untuk memperlambat memori GPU
   • Jumlah perkalian floating-point yang diperhatikan
   • Biaya memuat bobot model dari disk
   • Latensi jaringan antara beberapa GPU
2. Bagaimana Flash Attention menghindari penyimpanan matriks perhatian N-by-N penuh?
   • Ini memperkirakan perhatian dengan proyeksi acak
   • Ini memproses kueri, kunci, dan nilai dalam ubin kecil dan menggabungkan sebagian hasil
   • Itu melewatkan sebagian besar pasangan token sepenuhnya
   • Ini memampatkan matriks dengan kuantisasi
3. Teknik apa yang memungkinkan Flash Attention menghitung softmax dengan benar tanpa melihat seluruh baris sekaligus?
   • Tabel pencarian eksponensial yang telah dihitung sebelumnya
   • Menghilangkan softmax dan menggunakan pendekatan linier
   • Softmax berjalan (online) yang melacak maks dan jumlah yang berjalan
   • Menyortir skor sebelum normalisasi
4. Dibandingkan dengan perhatian standar, keluaran dari Flash Attention adalah:
   • Perkiraan kasar yang menukar akurasi dengan kecepatan
   • Lebih akurat karena presisi lebih tinggi
   • Hanya berlaku untuk rangkaian pendek
   • Secara matematis identik, hanya saja dihitung lebih efisien
5. Mengapa Flash Attention paling membantu dengan rangkaian yang panjang?
   • Karena memori perhatian tumbuh secara kuadrat dengan panjang urutan
   • Karena urutan yang lebih panjang membutuhkan lebih sedikit lapisan
   • Karena softmax menjadi tidak diperlukan untuk input yang panjang
   • Karena GPU berjalan lebih lambat pada urutan pendek
6. Apa yang diprioritaskan oleh desain Flash Attention 'IO-aware' untuk diminimalkan?
   • Jumlah parameter model
   • Memori membaca dan menulis antara SRAM dan HBM
   • Kedalaman jaringan saraf
   • Ukuran kosakata tokenizer
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation