اختبار مرتبط بالدليل · صعب المستوى
اختبار مجموعات تدريب DeepSpeed وMegatron
التحقق من مراحل المشاركة الصفرية، وتوازي الموتر وخطوط الأنابيب، وفحص التنشيط، والتفريغ والتدريب المتوازي ثلاثي الأبعاد.
سؤال 1 من 8
ما هو الغرض الأساسي من مُحسِّن DeepSpeed's ZeRO؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو الغرض الأساسي من مُحسِّن DeepSpeed's ZeRO؟
- لتقسيم حالات المُحسِّن والتدرجات والمعلمات عبر وحدات معالجة الرسومات لتوفير الذاكرة
- لضغط النموذج النهائي للنشر
- لترجمة النماذج بين الأطر
- لتسمية بيانات التدريب تلقائيًا
- كيف يعمل توازي الموتر، كما كان رائدًا في Megatron-LM، على تقسيم النموذج؟
- من خلال وضع طبقات مختلفة على وحدات معالجة الرسومات المختلفة
- عن طريق تقطيع مضاعفات المصفوفة الفردية داخل طبقة عبر وحدات معالجة الرسومات
- من خلال منح كل وحدة معالجة رسومات مجموعة مختلفة من البيانات
- من خلال تخزين خطوات زمنية مختلفة على وحدات معالجة الرسومات المختلفة
- يختلف توازي خطوط الأنابيب عن توازي الموتر لأنه يقسم النموذج إلى:
- تقطيع المصفوفات داخل كل طبقة
- تكرار النموذج بأكمله على كل وحدة معالجة رسومات
- تعيين طبقات (مراحل) مختلفة لوحدات معالجة الرسومات المختلفة
- تكميم الأوزان لتقليل الدقة
- ما هي مرحلة Zero التي توفر أكبر قدر من التوفير في الذاكرة من خلال مشاركة معلمات النموذج نفسها أيضًا؟
- المرحلة 1
- المرحلة 2
- المرحلة 0
- المرحلة 3
- ما الذي يتم استبداله بـ "نقطة تفتيش التنشيط" لحفظ الذاكرة أثناء التدريب؟
- حساب إضافي، من خلال إعادة حساب عمليات التنشيط أثناء التمريرة الخلفية
- دقة النموذج
- عرض النطاق الترددي للشبكة
- عدد الطبقات
- لماذا يُطلق على الجمع بين هذه التقنيات غالبًا اسم "التوازي ثلاثي الأبعاد"؟
- يعمل فقط على بطاقات الرسومات ثلاثية الأبعاد
- فهو يجمع بين البيانات والموتر وتوازي خطوط الأنابيب على ثلاثة محاور
- يستخدم ثلاث وحدات معالجة رسومات كحد أقصى
- يعرض نماذج ثلاثية الأبعاد
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- المرحلة 0
- المرحلة 2
- المرحلة 1
- المرحلة 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget