Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Corak Perhatian Jarang

Bandingkan sambungan tempatan, diluaskan, rawak dan jarang perhatian global dan cara kernel yang dioptimumkan melangkau entri yang tidak digunakan dalam pemprosesan input panjang.

Laluan panduan yang berkaitanCorak Perhatian Jarang
soalan 1 daripada 8

Mengapakah perhatian diri sepenuhnya mahal pada urutan yang panjang?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Mengapakah perhatian diri sepenuhnya mahal pada urutan yang panjang?
    • Kosnya meningkat dengan kuasa dua panjang jujukan
    • Ia tidak boleh menggunakan GPU
    • Ia hanya berfungsi pada perkataan pendek
    • Ia tidak memerlukan ingatan sama sekali
  2. Apakah perhatian tetingkap gelongsor (tempatan)?
    • Setiap token menghadiri pangkalan data rawak
    • Setiap token hanya diberikan kepada jiran berdekatannya
    • Token tidak pernah menangani apa-apa
    • Setiap token menghadiri semua token dua kali
  3. Apakah tujuan 'token global' dalam perhatian yang jarang?
    • Untuk memperlahankan model
    • Untuk menyimpan imej
    • Untuk bertindak sebagai hab yang menjaga segala-galanya dan segala-galanya menjaga
    • Untuk menggantikan kosa kata
  4. Model manakah yang membuktikan bahawa menggabungkan perhatian rawak, tingkap dan global mengekalkan ekspresi perhatian penuh?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Secara kasar bagaimana bilangan sambungan berskala dalam perhatian jarang yang direka dengan baik?
    • Secara kasar secara linear dengan panjang jujukan
    • Secara kuadratik dengan panjang urutan
    • Ia tidak bergantung pada panjang
    • Secara eksponen dengan panjang jujukan
  6. What do strided or dilated sparse-attention patterns allow?
    • Mengiranya dan kemudian menetapkannya kepada sifar
    • Skip ahead to reach distant context with fewer attention links
    • Menghantar mereka ke pelayan lain
    • Menyimpannya secara kekal
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query