Kuis terkait panduan · Keras Tingkat

Kuis Perhatian Blok-Sparse dan Native Sparse

Memeriksa perhatian yang jarang pada blok, cabang jendela pemilihan kompresi NSA, penyelarasan perangkat keras, dan penskalaan dengan urutan yang panjang.

Jalur panduan terkaitBlokir Perhatian Jarang Dan Asli Jarang
Pertanyaan 1 dari 8

Mengapa perhatian diri standar mahal untuk rangkaian panjang?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Mengapa perhatian diri standar mahal untuk rangkaian panjang?
    • Biayanya bertambah secara kuadrat dengan panjang barisan
    • Ini menggunakan terlalu sedikit parameter
    • Itu tidak dapat berjalan di GPU
    • Itu hanya berlaku untuk token pertama
  2. Apa gagasan inti dari perhatian yang jarang-blok?
    • Menghapus lapisan feed-forward
    • Menghitung perhatian hanya antara blok token yang dipilih
    • Menggunakan satu kepala perhatian saja
    • Menggandakan dimensi penyematan
  3. Apa yang membedakan Native Sparse Attention (NSA) dengan metode sparse sebelumnya?
    • Ini menghilangkan perhatian sepenuhnya
    • Ini hanya berfungsi selama inferensi
    • Ini dapat dilatih secara end-to-end dan selaras dengan perangkat keras
    • Itu tidak memerlukan GPU
  4. Tiga cabang manakah yang digabungkan NSA untuk kunci dan nilainya?
    • Encoder, decoder, dan penyematan
    • Dropout, normalisasi, dan pooling
    • Kuantisasi, pemangkasan, dan distilasi
    • Kompresi, seleksi, dan jendela geser
  5. Mengapa NSA menggunakan operasi tingkat blok dan bukan ketersebaran tingkat token yang sewenang-wenang?
    • Untuk menyelaraskan dengan akses memori GPU dan throughput tensor-core untuk percepatan nyata
    • Untuk membuat model lebih besar
    • Untuk menghindari penggunaan perhatian sama sekali
    • Untuk mengurangi jumlah lapisan
  6. Selama decoding autoregresif, sedikit perhatian sangat membantu karena langkah tersebut sering kali adalah:
    • Terikat komputasi pada perkalian matriks
    • Terikat memori, jadi mengurangi token yang dihadiri akan mempercepatnya
    • Tidak bergantung pada panjang urutan
    • Jalankan hanya pada CPU
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations