گائیڈ سے منسلک کوئز · درمیانہ سطح
گروپ شدہ سوال توجہ کا کوئز
جائزہ لیں کہ کس طرح گروپ شدہ سوال کی توجہ کلیدی/ویلیو ہیڈز کو شیئر کرتی ہے، جنریشن ٹائم کیش کے اخراجات کو کم کرتی ہے، اور موجودہ چیک پوائنٹس سے حاصل کی جا سکتی ہے۔
سوال 1 کی 8
گروپ شدہ سوال کی توجہ میں، سوال کے سروں کے گروپ میں کیا اشتراک کیا جاتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- گروپ شدہ سوال کی توجہ میں، سوال کے سروں کے گروپ میں کیا اشتراک کیا جاتا ہے؟
- کلید اور قدر کے سر
- صرف آؤٹ پٹ پروجیکشن
- ان پٹ ایمبیڈنگز
- سیکھنے کی شرح
- GQA کو کس دو انتہاؤں کے درمیان ایک درمیانی زمین کے طور پر بہترین طور پر بیان کیا گیا ہے؟
- کنولیشن اور توجہ
- مکمل ملٹی ہیڈ توجہ اور کثیر سوالات کی توجہ
- FP32 اور FP8 درستگی
- صرف انکوڈر اور صرف ڈیکوڈر ماڈل
- GQA بنیادی طور پر تخمینہ کا کون سا حصہ سستا کرتا ہے؟
- پرامپٹ کی ٹوکنائزیشن
- تربیتی نقصان کا حساب
- KV کیش میموری اور نسل کے دوران اس کی بینڈوتھ
- الفاظ کے اوپر حتمی سافٹ میکس
- اگر ایک ماڈل میں 32 سوالات کے سر اور 8 KV گروپس ہیں، تو KV کیش تقریباً کس فیکٹر سے کم ہو جاتی ہے؟
- تقریباً 32x
- تقریباً 2x
- کوئی کمی نہیں۔
- تقریباً 4x
- What quality/speed tradeoff did the GQA paper report in its experiments?
- Quality close to MHA with inference speed closer to MQA
- Lower quality and slower inference than both
- Exactly the same latency and quality for every model
- A result only on image classification
- موجودہ ملٹی ہیڈ ماڈلز کو اکثر GQA میں کیسے تبدیل کیا جاتا ہے؟
- توجہ کی تمام پرتوں کو حذف کرکے
- موجودہ چوکی سے ایک مختصر 'اپ ٹریننگ' قدم کے ذریعے
- ایک مختلف ٹوکنائزر پر سوئچ کرکے
- انہیں بالکل تبدیل نہیں کیا جا سکتا
- Which task families did the GQA paper evaluate?
- Image segmentation and object detection
- Speech synthesis and speaker verification
- Language modeling and machine translation
- Molecular generation and toxicity prediction
- How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
- تقریباً 50%
- About 100%
- No additional training compute
- تقریباً 5%