اختبار مرتبط بالدليل · صعب المستوى
RWKV اختبار الانتباه الخطي
استكشف بوابة استقبال RWKV، وتسوس الوقت، وتكرار المفتاح/القيمة، وحالة الحجم الثابت، ونموذج التدريب المتوازي الشبيه بالمحول.
سؤال 1 من 8
ما هي الخاصية الرئيسية لـ RWKV؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هي الخاصية الرئيسية لـ RWKV؟
- إنه يتدرب مثل المحول ولكنه يدير الاستدلال مثل RNN
- لا يمكن تدريبه إلا على الصور
- يتطلب ذاكرة تخزين مؤقت ذات قيمة مفتاح تربيعية
- ولا يمكن موازنتها على الإطلاق
- ماذا تعني الحروف في RWKV؟
- اقرأ، اكتب، احتفظ، تحقق
- التلقي، الوزن، المفتاح، القيمة
- متكرر، واسع، نواة، ناقل
- العشوائية، الموزونة، المعرفة، التباين
- كيف يحافظ RWKV على ثبات الذاكرة أثناء عملية الإنشاء؟
- بحذف أوزان النموذج
- عن طريق تخزين كل رمز مميز على القرص
- من خلال نقل حالة مخفية صغيرة ذات حجم ثابت إلى الأمام بدلاً من ذاكرة تخزين مؤقت متزايدة
- عن طريق قصر المخرجات على عشرة رموز
- ما الدور الذي يلعبه وزن الاضمحلال الزمني (W)؟
- يحدد معدل التعلم
- يقوم بحساب عدد الرموز
- فهو يختار لغة الإخراج
- فهو يتحكم في مدى سرعة فقدان المعلومات القديمة لتأثيرها
- بالمقارنة مع انتباه softmax، ما الذي يتجنبه تكرار الانتباه الخطي لـ RWKV؟
- المقارنة الرمزية لجميع الأزواج من الدرجة الثانية
- أي استخدام للمفاتيح والقيم
- الحاجة إلى التضمين
- استخدام الشبكات العصبية
- لماذا يعتبر RWKV مناسبًا بشكل خاص لجيل البث؟
- لأنه يجب أن يرى المدخلات بالكامل قبل أي مخرجات
- لأن كل رمز مميز جديد يعتمد فقط على الحالة ذات الحجم الثابت السابقة
- لأنه لا يمكن إنشاء النص
- لأنه يحتاج إلى مجموعة GPU لكل رمز مميز
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions