Kuiz berkaitan panduan · Keras Tahap

Kuiz Perhatian Linear dan Inti Pelaksana

Menyemak kos jujukan perhatian softmax, penyusunan semula bersekutu, penghampiran kernel FAVOR+, ciri rawak dan kerumitan linear.

Laluan panduan yang berkaitanPerhatian Linear Dan Inti Pelaku
soalan 1 daripada 8

Mengapa skala perhatian softmax standard kurang baik dengan panjang jujukan?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Mengapa skala perhatian softmax standard kurang baik dengan panjang jujukan?
    • Masa dan ingatannya berkembang dengan kuasa dua panjang jujukan
    • Ia memerlukan pengisihan semua token mengikut abjad
    • Ia hanya boleh memproses satu token pada satu masa
    • Ia memerlukan rangkaian saraf yang berasingan bagi setiap token
  2. Apakah sifat matematik yang membenarkan perhatian linear mengelakkan matriks n-oleh-n?
    • Komutatif penambahan
    • Asosiativiti pendaraban matriks
    • Undang-undang pengedaran softmax
    • Penguraian nilai eigen
  3. Apakah anggaran mekanisme FAVOR+ Performer?
    • Kemas kini turunan kecerunan
    • Perbendaharaan kata tokenizer
    • Kernel perhatian softmax
    • Statistik normalisasi lapisan
  4. Mengapakah Pelaku menggunakan ciri rawak positif berbanding ciri trigonometri yang lebih awal?
    • Ia berjalan lebih pantas pada CPU sahaja
    • Mereka menghapuskan keperluan untuk sebarang rawak
    • Mereka menjadikan model itu boleh ditafsir sepenuhnya
    • Mereka menjamin berat perhatian bukan negatif dan meningkatkan kestabilan berangka
  5. Apakah kerumitan anggaran perhatian linear gaya Pelaku dalam panjang jujukan n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Apakah had biasa perhatian linear tulen berbanding perhatian softmax penuh?
    • Ia tidak boleh berjalan pada GPU
    • Ia sering mencapai kualiti pemodelan yang lebih rendah sedikit
    • Ia hanya berfungsi untuk imej
    • Ia memerlukan data berlabel untuk setiap token
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate