Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Corak Perhatian Jarang
Bandingkan sambungan tempatan, diluaskan, rawak dan jarang perhatian global dan cara kernel yang dioptimumkan melangkau entri yang tidak digunakan dalam pemprosesan input panjang.
soalan 1 daripada 8
Mengapakah perhatian diri sepenuhnya mahal pada urutan yang panjang?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Mengapakah perhatian diri sepenuhnya mahal pada urutan yang panjang?
- Kosnya meningkat dengan kuasa dua panjang jujukan
- Ia tidak boleh menggunakan GPU
- Ia hanya berfungsi pada perkataan pendek
- Ia tidak memerlukan ingatan sama sekali
- Apakah perhatian tetingkap gelongsor (tempatan)?
- Setiap token menghadiri pangkalan data rawak
- Setiap token hanya diberikan kepada jiran berdekatannya
- Token tidak pernah menangani apa-apa
- Setiap token menghadiri semua token dua kali
- Apakah tujuan 'token global' dalam perhatian yang jarang?
- Untuk memperlahankan model
- Untuk menyimpan imej
- Untuk bertindak sebagai hab yang menjaga segala-galanya dan segala-galanya menjaga
- Untuk menggantikan kosa kata
- Model manakah yang membuktikan bahawa menggabungkan perhatian rawak, tingkap dan global mengekalkan ekspresi perhatian penuh?
- ResNet
- Word2Vec
- AlexNet
- BigBird
- Secara kasar bagaimana bilangan sambungan berskala dalam perhatian jarang yang direka dengan baik?
- Secara kasar secara linear dengan panjang jujukan
- Secara kuadratik dengan panjang urutan
- Ia tidak bergantung pada panjang
- Secara eksponen dengan panjang jujukan
- What do strided or dilated sparse-attention patterns allow?
- Mengiranya dan kemudian menetapkannya kepada sifar
- Skip ahead to reach distant context with fewer attention links
- Menghantar mereka ke pelayan lain
- Menyimpannya secara kekal
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query