اختبار مرتبط بالدليل · متوسط المستوى
اختبار انتباه الاستعلام المجمع
قم بمراجعة كيفية مشاركة اهتمام الاستعلام المجمع برؤوس المفتاح/القيمة، وتقليل تكاليف ذاكرة التخزين المؤقت في وقت الإنشاء، ويمكن الحصول عليها من نقاط التفتيش الموجودة.
سؤال 1 من 8
في "انتباه الاستعلام المجمع"، ما الذي تتم مشاركته بين مجموعة من رؤوس الاستعلام؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- في "انتباه الاستعلام المجمع"، ما الذي تتم مشاركته بين مجموعة من رؤوس الاستعلام؟
- رؤساء المفتاح والقيمة
- إسقاط الإخراج فقط
- تضمينات الإدخال
- معدل التعلم
- من الأفضل وصف GQA بأنها حل وسط بين أي طرفين متطرفين؟
- الالتواء والانتباه
- الاهتمام الكامل متعدد الرؤوس والاهتمام متعدد الاستعلامات
- دقة FP32 وFP8
- نماذج التشفير فقط وفك التشفير فقط
- ما هو الجزء من الاستدلال الذي تجعله GQA أرخص في المقام الأول؟
- ترميز المطالبة
- حساب الخسارة التدريبية
- ذاكرة التخزين المؤقت KV وعرض النطاق الترددي الخاص بها أثناء الإنشاء
- softmax النهائي على المفردات
- إذا كان النموذج يحتوي على 32 رأس استعلام ومجموعات 8 كيلو فولت، فسيتم تقليل ذاكرة التخزين المؤقت لـ KV بأي عامل تقريبًا؟
- حوالي 32x
- حوالي 2x
- لا يوجد تخفيض
- حوالي 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- كيف يتم تحويل النماذج متعددة الرؤوس الموجودة في كثير من الأحيان إلى GQA؟
- عن طريق حذف جميع طبقات الاهتمام
- بخطوة "تدريب" قصيرة من نقطة التفتيش الحالية
- عن طريق التبديل إلى رمز مميز مختلف
- ولا يمكن تحويلهم على الإطلاق
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- حوالي 50%
- About 100%
- No additional training compute
- حوالي 5%