Kuiz berkaitan panduan · Keras Tahap
Kuiz Perhatian Linear dan Inti Pelaksana
Menyemak kos jujukan perhatian softmax, penyusunan semula bersekutu, penghampiran kernel FAVOR+, ciri rawak dan kerumitan linear.
soalan 1 daripada 8
Mengapa skala perhatian softmax standard kurang baik dengan panjang jujukan?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Mengapa skala perhatian softmax standard kurang baik dengan panjang jujukan?
- Masa dan ingatannya berkembang dengan kuasa dua panjang jujukan
- Ia memerlukan pengisihan semua token mengikut abjad
- Ia hanya boleh memproses satu token pada satu masa
- Ia memerlukan rangkaian saraf yang berasingan bagi setiap token
- Apakah sifat matematik yang membenarkan perhatian linear mengelakkan matriks n-oleh-n?
- Komutatif penambahan
- Asosiativiti pendaraban matriks
- Undang-undang pengedaran softmax
- Penguraian nilai eigen
- Apakah anggaran mekanisme FAVOR+ Performer?
- Kemas kini turunan kecerunan
- Perbendaharaan kata tokenizer
- Kernel perhatian softmax
- Statistik normalisasi lapisan
- Mengapakah Pelaku menggunakan ciri rawak positif berbanding ciri trigonometri yang lebih awal?
- Ia berjalan lebih pantas pada CPU sahaja
- Mereka menghapuskan keperluan untuk sebarang rawak
- Mereka menjadikan model itu boleh ditafsir sepenuhnya
- Mereka menjamin berat perhatian bukan negatif dan meningkatkan kestabilan berangka
- Apakah kerumitan anggaran perhatian linear gaya Pelaku dalam panjang jujukan n?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- Apakah had biasa perhatian linear tulen berbanding perhatian softmax penuh?
- Ia tidak boleh berjalan pada GPU
- Ia sering mencapai kualiti pemodelan yang lebih rendah sedikit
- Ia hanya berfungsi untuk imej
- Ia memerlukan data berlabel untuk setiap token
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate