متعدد الاستعلام الاهتمام مسابقة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما الذي يشاركه انتباه الاستعلام المتعدد عبر جميع رؤوس الانتباه؟
   • مجموعة واحدة من المفاتيح والقيم
   • توقعات الاستعلام
   • درجة حرارة سوفت ماكس
   • أوزان طبقة الإخراج
2. ما هو عنق الزجاجة الأساسي الذي يعالجه MQA أثناء توليد الانحدار الذاتي؟
   • الفاصلة العائمة حساب الإنتاجية
   • عرض النطاق الترددي للذاكرة من تحميل ذاكرة التخزين المؤقت KV
   • عدد فترات التدريب
   • حجم المفردات الرمزية
3. بأي عامل تقريبًا تقوم MQA بتقليص ذاكرة التخزين المؤقت لـ KV؟
   • حسب طول التسلسل
   • حسب حجم الدفعة
   • من خلال عدد رؤوس الاهتمام
   • لا يغير حجم ذاكرة التخزين المؤقت KV
4. ما هي المفاضلة الرئيسية لاستخدام MQA؟
   • استنتاج أبطأ بكثير
   • لم يعد بإمكانه استخدام رؤوس متعددة على الإطلاق
   • يتطلب المزيد من بيانات التدريب
   • انخفاض متواضع في جودة النموذج
5. ما هو البديل الذي يقع بين الاهتمام القياسي متعدد الرؤوس وMQA؟
   • تنبيه الاستعلام المجمع
   • انزلاق النافذة الاهتمام
   • انتباه فلاش
   • اهتمام متفرق
6. من الذي اقترح الاهتمام بالاستعلام المتعدد؟
   • جيفري هينتون
   • نعوم شازير
   • يان ليكون
   • أندريه كارباثي
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once