Kuis terkait panduan · Sedang Tingkat

Kuis Pola Perhatian Jarang

Bandingkan koneksi perhatian lokal, dilatasi, acak, dan global dan bagaimana kernel yang dioptimalkan melewatkan entri yang tidak digunakan dalam pemrosesan input panjang.

Jalur panduan terkaitPola Perhatian Jarang
Pertanyaan 1 dari 8

Mengapa perhatian diri penuh mahal pada rangkaian panjang?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Mengapa perhatian diri penuh mahal pada rangkaian panjang?
    • Biayanya bertambah seiring dengan kuadrat panjang barisan
    • Itu tidak bisa menggunakan GPU
    • Ini hanya berfungsi pada kata-kata pendek
    • Itu tidak memerlukan memori sama sekali
  2. Apa yang dimaksud dengan perhatian jendela geser (lokal)?
    • Setiap token hadir ke database acak
    • Setiap token hanya melayani tetangga terdekatnya
    • Token tidak pernah memperhatikan apa pun
    • Setiap token menangani semua token dua kali
  3. Apa tujuan 'token global' dalam perhatian yang jarang?
    • Untuk memperlambat model
    • Untuk menyimpan gambar
    • Bertindak sebagai penghubung yang memperhatikan segala sesuatu dan memperhatikan segala sesuatu
    • Untuk mengganti kosakata
  4. Model mana yang membuktikan bahwa menggabungkan perhatian acak, jendela, dan global mempertahankan ekspresi perhatian penuh?
    • ResNet
    • Kata2Vec
    • AlexNet
    • burung besar
  5. Secara kasar, bagaimana jumlah koneksi dapat ditingkatkan dalam perhatian yang dirancang dengan baik?
    • Kira-kira linier dengan panjang urutan
    • Secara kuadrat dengan panjang barisan
    • Itu tidak tergantung pada panjangnya
    • Secara eksponensial dengan panjang barisan
  6. What do strided or dilated sparse-attention patterns allow?
    • Hitung dan setel ke nol
    • Skip ahead to reach distant context with fewer attention links
    • Mengirimkannya ke server lain
    • Menyimpannya secara permanen
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query