اختبار مرتبط بالدليل · صعب المستوى
التوازي الخبراء لاختبار وزارة التربية والتعليم
اختبار وضع خبراء MoE، وتوزيع الرموز واختلال التحميل، بما في ذلك كيفية تأثير الخبراء المختارين والاتصالات على الاستدلال الموزع.
سؤال 1 من 8
ما الذي يوزعه التوازي الخبير عبر وحدات معالجة الرسومات؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يوزعه التوازي الخبير عبر وحدات معالجة الرسومات؟
- نسخ من النموذج الكامل للتكرار
- رؤوس الاهتمام الفردي فقط
- خبراء تغذية مختلفون لطبقة MoE
- طبقات جدول التضمين
- ما هو نمط الاتصال الذي يعتبر أساسيًا في موازاة خبراء وزارة التربية والتعليم؟
- تبادلان شاملان (الإرسال والجمع)
- بث واحد
- مزامنة التدرج من نقطة إلى نقطة
- ليست هناك حاجة للاتصال
- لماذا تحافظ وزارة التعليم على انخفاض الحوسبة لكل رمز على الرغم من المعلمات الإجمالية الضخمة؟
- يقوم بضغط الأوزان إلى 1 بت
- يتخطى طبقات الاهتمام
- الخبراء يتقاسمون كل أوزانهم
- يتم تشغيل الخبراء المختارين من الدرجة الأولى فقط لكل رمز مميز
- ما هي المشكلة التي تنشأ لأن التوجيه يعتمد على البيانات؟
- انفجار التدرج
- عدم توازن التحميل، حيث يحصل بعض الخبراء على المزيد من الرموز
- لا يمكن تدريب جهاز التوجيه
- تفقد الرموز المميزة تضمينات موضعها
- Why are capacity limits and padding used in some MoE implementations?
- To control expert buffer sizes and make computation shapes more predictable
- To require every expert to process every token
- To eliminate all token routing
- To guarantee that every MoE system drops tokens
- كيف تخفي الأنظمة زمن انتقال خطوات الكل إلى الكل؟
- من خلال التشغيل على وحدة المعالجة المركزية بدلاً من ذلك
- عن طريق إزالة خطوة الجمع
- من خلال زيادة معدل التعلم
- من خلال تداخل التواصل مع حسابات الخبراء
- A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
- Run every expert in the model regardless of routing
- Dispatch its representation to the selected experts and combine their outputs
- Replace both expert networks with an attention head
- Drop the token solely because it selected two devices
- One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
- The total expert parameter count automatically doubles
- The router’s outputs become attention positions
- The overloaded expert becomes a straggler while other devices wait
- All other experts are removed from memory