Kuiz berkaitan panduan · Keras Tahap
Kuiz Perhatian Linear RWKV
Terokai gerbang penerimaan RWKV, pereputan masa, pengulangan kunci/nilai, keadaan saiz malar dan bentuk latihan selari seperti Transformer.
soalan 1 daripada 8
Apakah sifat tajuk berita RWKV?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah sifat tajuk berita RWKV?
- Ia melatih seperti Transformer tetapi menjalankan inferens seperti RNN
- Ia hanya boleh dilatih pada imej
- Ia memerlukan cache nilai kunci kuadratik
- Ia tidak boleh disejajarkan sama sekali
- Apakah maksud huruf dalam RWKV?
- Baca, Tulis, Simpan, Sahkan
- Penerimaan, Berat, Kunci, Nilai
- Berulang, Lebar, Inti, Vektor
- Rawak, Wajaran, Pengetahuan, Variasi
- Bagaimanakah RWKV mengekalkan ingatan tetap semasa penjanaan?
- Dengan memadamkan berat model
- Dengan menyimpan setiap token pada cakera
- Dengan membawa keadaan tersembunyi kecil bersaiz tetap ke hadapan dan bukannya cache yang semakin meningkat
- Dengan mengehadkan output kepada sepuluh token
- Apakah peranan yang dimainkan oleh berat pereputan masa (W)?
- Ia menetapkan kadar pembelajaran
- Ia mengira bilangan token
- Ia memilih bahasa output
- Ia mengawal seberapa cepat maklumat lama kehilangan pengaruh
- Berbanding dengan perhatian softmax, apakah yang dielakkan pengulangan perhatian linear RWKV?
- Perbandingan token semua pasangan kuadratik
- Sebarang penggunaan kunci dan nilai
- Keperluan untuk benam
- Penggunaan rangkaian saraf
- Mengapakah RWKV amat sesuai untuk penjanaan penstriman?
- Kerana ia mesti melihat keseluruhan input sebelum sebarang output
- Kerana setiap token baharu bergantung hanya pada keadaan saiz tetap sebelumnya
- Kerana ia tidak boleh menghasilkan teks
- Kerana ia memerlukan kluster GPU untuk setiap token
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions