Kuis terkait panduan · Keras Tingkat

Kuis Perhatian Linier RWKV

Jelajahi gerbang penerimaan RWKV, peluruhan waktu, pengulangan kunci/nilai, status ukuran konstan, dan formulir pelatihan paralel mirip Transformer.

Jalur panduan terkaitPerhatian Linier Rwkv
Pertanyaan 1 dari 8

Apa properti utama RWKV?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa properti utama RWKV?
    • Ia berlatih seperti Transformer tetapi menjalankan inferensi seperti RNN
    • Itu hanya bisa dilatih pada gambar
    • Ini memerlukan cache nilai kunci kuadrat
    • Sama sekali tidak bisa diparalelkan
  2. Apa kepanjangan dari huruf-huruf dalam RWKV?
    • Baca, Tulis, Simpan, Verifikasi
    • Penerimaan, Berat, Kunci, Nilai
    • Berulang, Lebar, Kernel, Vektor
    • Acak, Tertimbang, Pengetahuan, Variasi
  3. Bagaimana RWKV menjaga memori tetap konstan selama pembuatan?
    • Dengan menghapus bobot model
    • Dengan menyimpan setiap token di disk
    • Dengan meneruskan status tersembunyi berukuran kecil dan tetap, bukannya cache yang terus bertambah
    • Dengan membatasi keluaran hingga sepuluh token
  4. Apa peran yang dimainkan oleh bobot peluruhan waktu (W)?
    • Ini menetapkan kecepatan pembelajaran
    • Ini menghitung jumlah token
    • Itu memilih bahasa output
    • Ia mengontrol seberapa cepat informasi lama kehilangan pengaruhnya
  5. Dibandingkan dengan perhatian softmax, apa yang dihindari oleh pengulangan perhatian linier RWKV?
    • Perbandingan token semua pasangan kuadrat
    • Segala penggunaan kunci dan nilai
    • Kebutuhan akan penyematan
    • Penggunaan jaringan saraf
  6. Mengapa RWKV sangat cocok untuk pembuatan streaming?
    • Karena ia harus melihat seluruh masukan sebelum keluaran apa pun
    • Karena setiap token baru hanya bergantung pada status ukuran tetap sebelumnya
    • Karena tidak dapat menghasilkan teks
    • Karena memerlukan cluster GPU untuk setiap token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions