اختبار مرتبط بالدليل · متوسط المستوى
مسابقة إعادة حساب التنشيط
اختبار مقايضات الذاكرة عبر نقاط تفتيش التفعيل، وإعادة الحساب الانتقائية، وصحة الإعادة، بما في ذلك لماذا لا يحل الحوسبة الإضافية جميع تكاليف الذاكرة.
سؤال 1 من 8
ما الذي يتم استبداله بإعادة حساب التنشيط لتوفير الذاكرة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يتم استبداله بإعادة حساب التنشيط لتوفير الذاكرة؟
- دقة النموذج
- حساب إضافي (FLOPs)
- عرض النطاق الترددي للشبكة
- الدقة العددية
- لماذا يتم عادةً تخزين عمليات تنشيط التمرير الأمامي على الإطلاق؟
- لعرضها للمستخدم
- لضغط النموذج
- وهي مطلوبة للترميز
- لأن الانتشار العكسي يحتاج إلى حساب التدرجات
- Why should activation checkpointing overhead be measured on the actual model?
- Checkpoint placement, operators, and hardware determine the cost of replay
- It always adds exactly forty percent to wall-clock time
- It guarantees a tenfold speed improvement
- It removes all forward computation
- For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
- O(N squared) for all model parameters
- O(1) for all training memory regardless of N
- O(sqrt(N)) for activation storage
- O(N squared) for optimizer state
- ما هي الفكرة وراء إعادة الحساب الانتقائي (غير الكامل)؟
- إعادة حساب كل عملية مرتين
- لا تعيد حساب أي شيء أبدًا
- إعادة حساب طبقة التضمين فقط
- قم بإعادة حساب العمليات ذات الذاكرة الثقيلة فقط ولكن حساب العمليات الرخيصة، وذاكرة التخزين المؤقت للعمليات الباهظة الثمن
- ما هي التقنية التكميلية التي يتم دمجها غالبًا مع إعادة الحساب لتوفير المزيد من الذاكرة؟
- زيادة حجم الدفعة
- تفريغ عمليات التنشيط إلى وحدة المعالجة المركزية أو NVMe
- إزالة كافة طبقات التطبيع
- التبديل إلى وضع الاستدلال
- A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
- Dropout becomes a model-weight quantizer
- The optimizer no longer needs gradients
- Backward recomputation should reproduce the intended forward randomness
- The batch size must become one
- Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
- Activation recomputation does not remove optimizer-state storage
- Checkpointing increases every optimizer tensor to FP64
- Backward no longer consumes any memory
- The model cannot use checkpointing with an optimizer