اختبار مرتبط بالدليل · صعب المستوى

تفريغ حالة المحسن إلى وحدة المعالجة المركزية واختبار NVMe

تطبيق حساب استهلاك الذاكرة عند نقل المعالج، وضع تحديث المضيف، وتبادلات النقل، بما في ذلك سبب عدم إزالة النقل كل تخصيصات GPU.

مسارات الدليل ذات الصلةتفريغ حالة المُحسِّن إلى وحدة المعالجة المركزية وNvme
سؤال 1 من 8

ما هو الهدف الأساسي من تفريغ حالات المُحسِّن إلى وحدة المعالجة المركزية (CPU) أو NVMe؟

معاينة كل سؤال8 أسئلة

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

  1. ما هو الهدف الأساسي من تفريغ حالات المُحسِّن إلى وحدة المعالجة المركزية (CPU) أو NVMe؟
    • لجعل النموذج أكثر دقة
    • لتقليل عدد فترات التدريب اللازمة
    • للقضاء على الحاجة إلى التدرجات تماما
    • لتناسب الموديلات الأكبر حجمًا عن طريق تحرير ذاكرة GPU الشحيحة
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. ما هو إطار العمل الذي يتميز بتفريغ المُحسِّن واسع النطاق؟
    • وظيفة تفعيل جديدة
    • ضغط الصور JPEG
    • DeepSpeed ZeRO-Offload وZeRO-Infinity
    • قطع التدرج
  4. ما هي تكلفة الأداء الرئيسية لتفريغ وحدة المعالجة المركزية أو NVMe؟
    • يجب أن تنتقل البيانات عبر روابط أبطأ مثل PCIe أو إلى القرص، مما يزيد من زمن الوصول
    • ينسى النموذج التدريب السابق
    • يصبح المحسن غير صحيح رياضيا
    • تنخفض درجة حرارة وحدة معالجة الرسومات إلى مستوى منخفض جدًا
  5. كيف تخفي أنظمة التفريغ الكثير من زمن انتقال النقل؟
    • عن طريق تخطي التمريرة الخلفية
    • من خلال تداخل الجلب المسبق للبيانات مع حسابات GPU المستمرة
    • من خلال تدريب معلمة واحدة فقط في كل مرة
    • عن طريق تعطيل الدقة المختلطة
  6. في ZeRO-Offload، أين يتم تنفيذ خطوة مُحسِّن Adam غالبًا؟
    • بالكامل على وحدة تحكم NVMe
    • على شاشة منفصلة GPU
    • على وحدة المعالجة المركزية، باستخدام الأوزان واللحظات الرئيسية المخزنة هناك
    • داخل مفتاح الشبكة
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time