RWKV Doğrusal Dikkat Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. RWKV'nin ana özelliği nedir?
   • Bir Transformer gibi eğitim alır ancak çıkarımı bir RNN gibi çalıştırır
   • Yalnızca görüntüler üzerinde eğitilebilir
   • İkinci dereceden bir anahtar-değer önbelleği gerektirir
   • Hiçbir şekilde paralelleştirilemez
2. RWKV'deki harfler ne anlama geliyor?
   • Oku, Yaz, Sakla, Doğrula
   • Resepsiyon, Ağırlık, Anahtar, Değer
   • Tekrarlayan, Geniş, Çekirdek, Vektör
   • Rastgele, Ağırlıklı, Bilgi, Varyasyon
3. RWKV, üretim sırasında belleği nasıl sabit tutar?
   • Model ağırlıklarını silerek
   • Her jetonu diskte saklayarak
   • Büyüyen bir önbellek yerine küçük, sabit boyutlu bir gizli durumu ileriye taşıyarak
   • Çıktıları on jetonla sınırlayarak
4. Zamanla azalma ağırlığının (W) rolü nedir?
   • Öğrenme oranını belirler
   • Jeton sayısını sayar
   • Çıkış dilini seçer
   • Eski bilgilerin etkisini ne kadar çabuk kaybettiğini kontrol eder
5. Softmax dikkatiyle karşılaştırıldığında, RWKV'nin doğrusal dikkat yinelemesi neyi önler?
   • İkinci dereceden tüm çiftler jeton karşılaştırması
   • Anahtarların ve değerlerin herhangi bir şekilde kullanılması
   • Yerleştirme ihtiyacı
   • Sinir ağlarının kullanımı
6. RWKV neden özellikle akış oluşturmaya çok uygundur?
   • Çünkü herhangi bir çıktıdan önce girdinin tamamını görmesi gerekir
   • Çünkü her yeni jeton yalnızca önceki sabit boyutlu duruma bağlıdır
   • Çünkü metin oluşturamıyor
   • Çünkü her token için bir GPU kümesine ihtiyacı var
7. In the guide’s RWKV description, what does the receptance gate control?
   • How many image patches are generated
   • The size of the model vocabulary
   • How much of the accumulated state is read out
   • The amount of GPU memory available
8. What training property does RWKV retain from Transformers?
   • Full quadratic key-value caching at inference
   • A separate generator and discriminator
   • A fixed top-k token router in every layer
   • Parallelizable training across sequence positions