اختبار مرتبط بالدليل · صعب المستوى
نماذج الفضاء الحكومية ومسابقة مامبا
اختبار تعقيد تسلسل الحالة والفضاء، وانتقائية مامبا، والفحص المدرك للأجهزة، وحالة الاستدلال المتكرر، والنماذج المختلطة.
سؤال 1 من 8
كيف يمكن لنموذج فضاء الحالة أن يقيس طول التسلسل، مقارنة بالاهتمام الذاتي القياسي؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- كيف يمكن لنموذج فضاء الحالة أن يقيس طول التسلسل، مقارنة بالاهتمام الذاتي القياسي؟
- خطيًا، مقابل القياس التربيعي للانتباه
- من الناحية التربيعية، مقابل القياس الخطي للانتباه
- كلا الحجم متطابق
- أضعافا مضاعفة لكليهما
- ما هو الابتكار المركزي الذي أضافته مامبا إلى وحدات الخدمة الذاتية المنظمة السابقة مثل S4؟
- استخدام اهتمام softmax داخليًا
- جعل معلمات تحديث الحالة تعتمد على الإدخال (الانتقائية)
- إزالة الحالة المخفية بالكامل
- التحول إلى حساب الوقت التربيعي
- لماذا احتاجت Mamba إلى فحص متوازي مخصص للأجهزة؟
- لأن وحدات معالجة الرسومات لا يمكنها القيام بضرب المصفوفات
- لتقليل عدد الطبقات
- لأن جعل المعلمات تعتمد على الإدخال يكسر خدعة الالتواء البسيطة
- لأنه لا يستخدم أي معلمات مستفادة
- أثناء الاستدلال، تتمثل إحدى ميزات الكفاءة الرئيسية لجهاز SSM مثل Mamba في أنه يستخدم:
- الذاكرة التي تنمو مع طول التسلسل الكامل، مثل ذاكرة التخزين المؤقت KV
- لا ذاكرة على الإطلاق
- ذاكرة أكبر من المحولات ذات الحجم المتساوي
- ذاكرة ثابتة تقريبًا لكل رمز مميز تم إنشاؤه
- في نماذج SSM المنظمة الكلاسيكية (قبل الانتقائية)، يمكن حساب التكرار بكفاءة لأنه يمكن إعادة كتابته على النحو التالي:
- الإلتواء الطويل
- عملية سوفت ماكس
- شجرة القرار
- غابة عشوائية
- Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
- ImageNet-1K
- الكومة
- LibriSpeech only
- D4RL
- In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
- A nearest-neighbor lookup over audio frames
- A cross-attention layer over image patches
- An elementwise multiplicative interaction with a gated branch
- A graph-degree normalization step
- What language-modeling result does the Mamba paper report for its 3B model?
- It requires a Transformer cache twice as large
- It replaces the training corpus with audio only
- It can be trained without any data
- It matches Transformers twice its size in pretraining and downstream evaluation