Kuiz berkaitan panduan · Keras Tahap
Kuiz Perhatian Jarang Sekat dan Jarang Asli
Menyemak perhatian yang jarang disekat, cawangan tetingkap pemilihan-mampatan NSA, penjajaran perkakasan dan penskalaan dengan jujukan yang panjang.
soalan 1 daripada 8
Mengapakah perhatian diri standard mahal untuk urutan yang panjang?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Mengapakah perhatian diri standard mahal untuk urutan yang panjang?
- Kosnya meningkat secara kuadratik dengan panjang jujukan
- Ia menggunakan terlalu sedikit parameter
- Ia tidak boleh berjalan pada GPU
- Ia hanya menghadiri token pertama
- Apakah idea teras perhatian blok-jarang?
- Mengalih keluar lapisan suapan ke hadapan
- Mengira perhatian hanya antara blok token yang dipilih
- Menggunakan satu kepala perhatian sahaja
- Menggandakan dimensi benam
- Apakah yang membezakan Native Sparse Attention (NSA) daripada banyak kaedah jarang sebelumnya?
- Ia menghilangkan perhatian sepenuhnya
- Ia hanya berfungsi semasa inferens
- Ia boleh dilatih hujung-ke-hujung dan selaras perkakasan
- Ia tidak memerlukan GPU
- Tiga cabang manakah yang digabungkan oleh NSA untuk kunci dan nilainya?
- Pengekod, penyahkod dan pembenaman
- Keciciran, normalisasi dan pengumpulan
- Kuantisasi, pemangkasan, dan penyulingan
- Mampatan, pemilihan dan tetingkap gelongsor
- Mengapakah NSA menggunakan operasi peringkat blok dan bukannya kesederhanaan tahap token yang sewenang-wenangnya?
- Untuk menyelaraskan dengan akses memori GPU dan daya pemprosesan teras tensor untuk mempercepatkan sebenar
- Untuk menjadikan model lebih besar
- Untuk mengelakkan menggunakan perhatian sama sekali
- Untuk mengurangkan bilangan lapisan
- Semasa penyahkodan autoregresif, perhatian yang jarang sangat membantu kerana langkah itu selalunya:
- Pengiraan terikat pada darab matriks
- Terikat memori, jadi mengurangkan token yang dihadiri mempercepatkannya
- Bebas daripada panjang jujukan
- Jalankan hanya pada CPU
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations