ایم او ای سرونگ کوئز کے لیے ماہر متوازی

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ماہر متوازی GPUs میں کیا تقسیم کرتا ہے؟
   • فالتو پن کے لیے مکمل ماڈل کی کاپیاں
   • صرف انفرادی توجہ کے سربراہ
   • ایک MoE پرت کے مختلف فیڈ فارورڈ ماہرین
   • ایمبیڈنگ ٹیبل کی پرتیں۔
2. مواصلت کا کون سا نمونہ ایم او ای ماہر کی ہم آہنگی میں مرکزی ہے؟
   • دو آل ٹو آل ایکسچینج (ڈسپیچ اور کمبائن)
   • ایک ہی نشریات
   • پوائنٹ ٹو پوائنٹ گریڈینٹ مطابقت پذیری۔
   • مواصلات کی ضرورت نہیں ہے۔
3. بھاری کل پیرامیٹرز کے باوجود MoE فی ٹوکن کمپیوٹ کو کم کیوں رکھتا ہے؟
   • یہ وزن کو 1 بٹ تک کمپریس کرتا ہے۔
   • یہ توجہ کی تہوں کو چھوڑ دیتا ہے۔
   • ماہرین اپنے تمام وزن بانٹتے ہیں۔
   • صرف اعلیٰ کے منتخب ماہرین فی ٹوکن چلاتے ہیں۔
4. کیا مسئلہ پیدا ہوتا ہے کیونکہ روٹنگ ڈیٹا پر منحصر ہے؟
   • تدریجی دھماکہ
   • لوڈ عدم توازن، جہاں کچھ ماہرین کو کہیں زیادہ ٹوکن ملتے ہیں۔
   • روٹر کو تربیت نہیں دی جا سکتی
   • ٹوکن اپنی پوزیشن ایمبیڈنگ کھو دیتے ہیں۔
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. سسٹم سبھی سے تمام مراحل کی تاخیر کو کیسے چھپاتے ہیں؟
   • اس کے بجائے CPU پر چلانے سے
   • کمبائن سٹیپ کو ہٹا کر
   • سیکھنے کی شرح میں اضافہ کرکے
   • ماہر حساب کے ساتھ مواصلات کو اوورلیپ کرکے
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory