Kuiz berkaitan panduan · Keras Tahap

Kuiz Perhatian Linear RWKV

Terokai gerbang penerimaan RWKV, pereputan masa, pengulangan kunci/nilai, keadaan saiz malar dan bentuk latihan selari seperti Transformer.

Laluan panduan yang berkaitanPerhatian Linear Rwkv
soalan 1 daripada 8

Apakah sifat tajuk berita RWKV?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah sifat tajuk berita RWKV?
    • Ia melatih seperti Transformer tetapi menjalankan inferens seperti RNN
    • Ia hanya boleh dilatih pada imej
    • Ia memerlukan cache nilai kunci kuadratik
    • Ia tidak boleh disejajarkan sama sekali
  2. Apakah maksud huruf dalam RWKV?
    • Baca, Tulis, Simpan, Sahkan
    • Penerimaan, Berat, Kunci, Nilai
    • Berulang, Lebar, Inti, Vektor
    • Rawak, Wajaran, Pengetahuan, Variasi
  3. Bagaimanakah RWKV mengekalkan ingatan tetap semasa penjanaan?
    • Dengan memadamkan berat model
    • Dengan menyimpan setiap token pada cakera
    • Dengan membawa keadaan tersembunyi kecil bersaiz tetap ke hadapan dan bukannya cache yang semakin meningkat
    • Dengan mengehadkan output kepada sepuluh token
  4. Apakah peranan yang dimainkan oleh berat pereputan masa (W)?
    • Ia menetapkan kadar pembelajaran
    • Ia mengira bilangan token
    • Ia memilih bahasa output
    • Ia mengawal seberapa cepat maklumat lama kehilangan pengaruh
  5. Berbanding dengan perhatian softmax, apakah yang dielakkan pengulangan perhatian linear RWKV?
    • Perbandingan token semua pasangan kuadratik
    • Sebarang penggunaan kunci dan nilai
    • Keperluan untuk benam
    • Penggunaan rangkaian saraf
  6. Mengapakah RWKV amat sesuai untuk penjanaan penstriman?
    • Kerana ia mesti melihat keseluruhan input sebelum sebarang output
    • Kerana setiap token baharu bergantung hanya pada keadaan saiz tetap sebelumnya
    • Kerana ia tidak boleh menghasilkan teks
    • Kerana ia memerlukan kluster GPU untuk setiap token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions