Kuis terkait panduan · Sedang Tingkat

Kuis Perhatian Flash

Periksa bagaimana FlashAttention mengurangi lalu lintas memori bandwidth tinggi sambil menghitung perhatian yang tepat, dan perangkat keras apa yang mengubah target FlashAttention-3.

Jalur panduan terkaitPerhatian kilat
Pertanyaan 1 dari 8

Apa hambatan utama target FlashAttention dalam perhatian standar?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa hambatan utama target FlashAttention dalam perhatian standar?
    • Membaca dan menulis matriks perhatian besar untuk memperlambat memori GPU
    • Jumlah perkalian floating-point
    • Biaya tokenisasi teks masukan
    • Latensi jaringan antar GPU
  2. Bagaimana keluaran FlashAttention dibandingkan dengan perhatian standar?
    • Ini adalah perkiraan yang menukar akurasi dengan kecepatan
    • Secara matematis identik (tepat)
    • Ini hanya berfungsi untuk urutan pendek
    • Ini mengubah bobot model
  3. Memori GPU manakah yang dieksploitasi FlashAttention dengan memproses data dalam ubin?
    • Memori bandwidth tinggi (HBM) yang besar namun lambat
    • RAM CPU
    • SRAM on-chip yang kecil namun sangat cepat
    • Penyimpanan disk
  4. Teknik apa yang memungkinkan FlashAttention menghitung softmax tanpa melihat semua skor sekaligus?
    • Melewatkan softmax sepenuhnya
    • Membulatkan semua skor menjadi nol
    • Pra-komputasi softmax pada CPU
    • Softmax online (inkremental) dengan menjalankan penskalaan ulang
  5. Karena matriks perhatian penuh tidak pernah disimpan di HBM, penggunaan memori berskala secara kasar:
    • Linear dengan panjang barisan
    • Secara kuadrat dengan panjang barisan
    • Secara eksponensial dengan panjang barisan
    • Secara independen dari panjang urutan
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware