کثیر استفسار پر توجہ دینے والا کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. متعدد سوالات کی توجہ تمام توجہ کے سروں میں کیا اشتراک کرتی ہے؟
   • کلیدوں اور اقدار کا ایک مجموعہ
   • استفسار کے تخمینے
   • سافٹ میکس درجہ حرارت
   • آؤٹ پٹ پرت کا وزن
2. وہ بنیادی رکاوٹ کیا ہے جسے MQA خود بخود پیدا کرنے کے دوران حل کرتا ہے؟
   • فلوٹنگ پوائنٹ کمپیوٹ تھرو پٹ
   • KV کیشے لوڈ کرنے سے میموری بینڈوڈتھ
   • تربیتی دوروں کی تعداد
   • ٹوکنائزر الفاظ کا سائز
3. MQA تقریباً کس عنصر سے KV کیشے کو سکڑتا ہے؟
   • ترتیب کی لمبائی کے حساب سے
   • بیچ کے سائز سے
   • توجہ دینے والے سروں کی تعداد سے
   • یہ KV کیشے کا سائز تبدیل نہیں کرتا ہے۔
4. MQA کو استعمال کرنے کا اصل تجارت کیا ہے؟
   • بہت سست اندازہ
   • یہ اب ایک سے زیادہ سروں کا استعمال نہیں کر سکتا
   • یہ کہیں زیادہ تربیتی ڈیٹا کی ضرورت ہے
   • ماڈل کے معیار میں معمولی کمی
5. معیاری ملٹی ہیڈ توجہ اور MQA کے درمیان کون سا قسم بیٹھتا ہے؟
   • گروپ شدہ سوال کی توجہ
   • سلائیڈنگ ونڈو توجہ
   • فلیش توجہ
   • اسپرس توجہ
6. کس نے ملٹی سوال توجہ کی تجویز پیش کی؟
   • جیفری ہنٹن
   • نوم شازیر
   • یان لیکون
   • اندریج کارپاتھی
7. In Multi-Query Attention, what remains separate for each attention head?
   • The shared key projection
   • The shared value projection
   • The query projection
   • The token sequence itself
8. How does Grouped-Query Attention differ from standard MQA?
   • It shares query projections but gives every head separate keys and values
   • It removes attention and replaces it with a recurrent layer
   • It groups output vocabulary tokens instead of attention heads
   • It shares keys and values within several groups of query heads rather than across all heads at once