اختبار مرتبط بالدليل · صعب المستوى
اختبار توازي النموذج وخطوط الأنابيب
يشرح تقسيم الموتر وخطوط الأنابيب، وعمليات نقل التنشيط، وجداول الدُفعات الصغيرة، وفقاعات خطوط الأنابيب، ومقايضات الاتصالات.
سؤال 1 من 8
ما هي المشكلة الأساسية التي يحلها توازي النموذج وخطوط الأنابيب؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هي المشكلة الأساسية التي يحلها توازي النموذج وخطوط الأنابيب؟
- نموذج كبير جدًا بحيث لا يمكن احتواؤه في ذاكرة وحدة معالجة رسومات واحدة
- بطء تحميل البيانات من القرص
- التدرجات تنفجر أثناء التدريب
- عدد قليل جدًا من الأمثلة التدريبية المتاحة
- كيف يعمل تقسيم التوازي الموتر (داخل الطبقة)؟
- يقوم بتعيين طبقات كاملة لوحدات معالجة الرسومات المختلفة
- فهو يقسم الرياضيات داخل طبقة، مثل ضرب المصفوفة، عبر وحدات معالجة الرسومات
- يقوم بتكرار كل طبقة على كل وحدة معالجة رسومات
- يقوم بتشغيل كل طبقة مرتين للتكرار
- ما هي "الفقاعة" في التوازي الساذج لخطوط الأنابيب؟
- تسرب الذاكرة الذي ينمو مع مرور الوقت
- نسخة مكررة من حالة المحسن
- وقت الخمول عندما تنتظر وحدات معالجة الرسومات النهائية المراحل الأولية لإنتاج عمليات التنشيط
- ارتفاع في قيم التدرج
- كيف يقلل توازي خطوط الأنابيب من الفقاعة؟
- باستخدام معدل تعلم أصغر
- عن طريق إزالة بعض الطبقات من النموذج
- عن طريق تخزين التنشيطات على وحدة المعالجة المركزية
- من خلال تقسيم كل دفعة إلى دفعات صغيرة تتدفق عبر المراحل بطريقة متداخلة
- لماذا يتم الاحتفاظ بالتوازي الموتر عادة داخل عقدة واحدة؟
- نظرًا لأن التخفيض الشامل المتكرر للنتائج الجزئية يستفيد من الروابط السريعة داخل العقد مثل NVLink
- لأنه لا يتطلب أي اتصال
- لأن العقد لا يمكنها مشاركة البيانات على الإطلاق
- لأنه يدعم GPU واحد فقط
- ما هو الإطار الأكثر شهرة لتوازي الموتر في تدريب المحولات؟
- scikit-تعلم
- نفيديا ميجاترون-LM
- OpenCV
- الباندا
- What data must move between stages in pipeline parallelism during a forward pass?
- The entire training dataset after each layer
- Only the optimizer’s learning rate
- Activation tensors produced by one stage and consumed by the next
- No data, because stages are independent models
- Why does tensor parallelism often require fast communication within its group?
- It assigns each GPU a separate dataset and never synchronizes
- It communicates only once when the model is loaded
- It uses no cross-device operations
- Devices exchange partial results or activations within layers during computation