ماہرین کوئز کا مرکب

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ماہرین کی پرت کے مرکب میں، کیا فیصلہ کرتا ہے کہ کون سے ماہرین دیئے گئے ٹوکن پر کارروائی کرتے ہیں؟
   • ایک چھوٹا سیکھا ہوا راؤٹر (گیٹنگ نیٹ ورک) جو ماہرین کو اسکور کرتا ہے۔
   • تربیت سے پہلے ایک طے شدہ تلاش کی میز
   • صارف کے پرامپٹ کی لمبائی
   • ہر قدم پر بے ترتیب ڈرا
2. ایک ایم او ای ماڈل میں فی ٹوکن لاگت میں مماثل اضافے کے بغیر گھنے ماڈل سے کہیں زیادہ کل پیرامیٹرز کیوں ہو سکتے ہیں؟
   • یہ پیرامیٹرز کو ایک مشترکہ وزن میں کمپریس کرتا ہے۔
   • یہ توجہ کی تہوں کو مکمل طور پر چھوڑ دیتا ہے۔
   • ہر ٹوکن کے لیے صرف چند ماہرین (top-k) کو چالو کیا جاتا ہے۔
   • یہ ہر ماہر کو چلاتا ہے لیکن نتائج کو اوسط کرتا ہے۔
3. ایم او ای ٹریننگ کے دوران لوڈ بیلنسنگ (معاون) کے نقصان سے کیا مسئلہ حل ہوتا ہے؟
   • ٹوکنز سیاق و سباق کی ونڈو کے لیے بہت طویل ہیں۔
   • راؤٹر چند ماہرین کو زیادہ استعمال کر رہا ہے اور باقی بھوکے مر رہے ہیں۔
   • توجہ کے سروں میں گراڈینٹ غائب ہو رہے ہیں۔
   • توثیق کے سیٹ پر اوور فٹنگ
4. Mixtral 8x7B اپنے 8 ماہرین میں سے 2 کو فی ٹوکن فعال کرتا ہے۔ اس کے کمپیوٹ بمقابلہ اس کے سائز کا کیا مطلب ہے؟
   • یہ ہر ٹوکن پر تمام 8 ماہرین کے کمپیوٹ کا استعمال کرتا ہے۔
   • اس میں 7B گھنے ماڈل سے کم کل پیرامیٹرز ہیں۔
   • یہ GPU پر بالکل نہیں چل سکتا
   • اس کا ایکٹو کمپیوٹ فی ٹوکن اس کے کل پیرامیٹر کی گنتی سے کہیں چھوٹا ہے۔
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0.5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters