Kuis terkait panduan · Keras Tingkat

Kuis Perhatian Linier dan Kernel Pelaku

Memeriksa biaya urutan perhatian softmax, penataan ulang asosiatif, perkiraan kernel FAVOR+, fitur acak, dan kompleksitas linier.

Jalur panduan terkaitPerhatian Linier Dan Kernel Pelaku
Pertanyaan 1 dari 8

Mengapa perhatian softmax standar berskala buruk dengan panjang urutan?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Mengapa perhatian softmax standar berskala buruk dengan panjang urutan?
    • Waktu dan ingatannya bertambah seiring kuadrat panjang urutan
    • Ini membutuhkan penyortiran semua token berdasarkan abjad
    • Itu hanya dapat memproses satu token dalam satu waktu
    • Dibutuhkan jaringan saraf terpisah per token
  2. Properti matematika apa yang memungkinkan perhatian linier menghindari matriks n-kali-n?
    • Komutatifitas penjumlahan
    • Asosiatif perkalian matriks
    • Hukum distributif softmax
    • Dekomposisi nilai eigen
  3. Apa perkiraan mekanisme FAVOR+ Performer?
    • Pembaruan penurunan gradien
    • Kosakata tokenizer
    • Kernel perhatian softmax
    • Statistik normalisasi lapisan
  4. Mengapa Pelaku menggunakan fitur acak positif dibandingkan fitur trigonometri sebelumnya?
    • Mereka berjalan lebih cepat hanya pada CPU
    • Mereka menghilangkan kebutuhan akan segala keacakan
    • Mereka membuat model tersebut dapat ditafsirkan sepenuhnya
    • Mereka menjamin bobot perhatian non-negatif dan meningkatkan stabilitas numerik
  5. Berapa perkiraan kompleksitas perhatian linier gaya Pelaku dalam panjang urutan n?
    • HAI(n)
    • HAI(n^2)
    • HAI(n log n)
    • HAI(2^n)
  6. Apa batasan umum dari perhatian linier murni dibandingkan dengan perhatian softmax penuh?
    • Itu tidak dapat berjalan di GPU
    • Seringkali kualitas pemodelannya sedikit lebih rendah
    • Ini hanya berfungsi untuk gambar
    • Ini memerlukan data berlabel untuk setiap token
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate