اختبار مرتبط بالدليل · صعب المستوى
اختبار Zero وSharded Optimizers
يغطي مراحل الصفر، وذاكرة حالة آدم، وجمع المعلمات، وتقليل التدرج، وخيارات التفريغ، وتكاليف الاتصال.
سؤال 1 من 8
ما هو التكرار الذي يزيله Zero مقارنة بتوازي البيانات العادي؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما هو التكرار الذي يزيله Zero مقارنة بتوازي البيانات العادي؟
- نسخ نسخ كاملة مكررة من حالة المحسن والتدرجات والمعلمات على كل وحدة معالجة رسومات
- نسخ مكررة من بيانات التدريب على كل وحدة معالجة رسومات
- كابلات الشبكة الزائدة بين العقد
- يمر الأمام المتكرر على نفس الدفعة
- لماذا غالبًا ما تكون حالة المُحسِّن أكبر خسارة للذاكرة لدى آدم؟
- آدم لا يخزن أي حالة إضافية على الإطلاق
- يحتفظ Adam بقيم إضافية لكل معلمة (مثل الزخم والتباين)، والتي غالبًا ما تكون أكبر بعدة مرات من حجم النموذج
- يقوم آدم بتكرار مجموعة البيانات بأكملها
- يتطلب آدم تخزين كل التدرج الماضي إلى الأبد
- ما الذي لا تحتويه المرحلة 3 من Zero والتي لا تحتوي عليها المرحلتان 1 و 2؟
- بيانات التدريب
- وظيفة الخسارة
- معلمات النموذج نفسها
- جدول معدل التعلم
- في ZeRO Stage 3، كيف يمكن لوحدة معالجة الرسومات الحصول على المعلمات الكاملة التي تحتاجها للتمرير الأمامي للطبقة؟
- لا يحتاج أبدًا إلى المعلمات الكاملة
- ويقوم بتنزيلها من الإنترنت
- ويعيد حسابهم من الصفر في كل مرة
- فهو ينفذ عملية تجميع شاملة لجمع الشرائح المفقودة، ثم يتخلص منها بعد ذلك
- ما هي ميزة PyTorch التي تطبق في الأصل أسلوب التقسيم الصفري؟
- FSDP (توازي البيانات المجزأة بالكامل)
- محمل البيانات
- تورتشسكريبت
- أوتوجراد
- ما هي المقايضة الأساسية التي يقوم بها Zero لحفظ الذاكرة؟
- إنه يضحي بدقة النموذج من أجل السرعة
- يضيف اتصالاً إضافيًا لجمع القطع وتبعثرها حسب الحاجة
- يزيل الطبقات من النموذج
- إنه يعمل فقط مع النماذج الصغيرة جدًا
- ما هي الولاية المقسمة في المرحلة الصفرية 1؟
- المعلمات فقط، مع تكرار حالات المحسن
- المعلمات والتدرجات وحالات المُحسِّن جميعها مقسمة
- حالات المُحسِّن، بينما تظل المعلمات والتدرجات منسوخة
- فقط إدخال التنشيطات والتسميات
- ما هي التكلفة العملية للتقسيم على نمط الصفر؟
- إنه يلغي الحاجة إلى حساب التدرجات
- فهو يجعل كل تحديث للمُحسِّن محليًا دون تبادل البيانات
- يتطلب إعادة تدريب النموذج من الصفر في كل خطوة
- اتصالات إضافية لجمع المعلمات وتوزيع التدرجات