اختبار مرتبط بالدليل · متوسط المستوى
التدرج نقاط التفتيش مسابقة
يشرح إعادة تجسيد التنشيط وتوفير الذاكرة وتكاليف الحوسبة المعتمدة على الجدول الزمني والمجموعات ذات التجزئة والدقة المختلطة.
سؤال 1 من 8
ما الذي يتم تداوله في نقاط التفتيش المتدرجة في المقام الأول من أجل حفظ الذاكرة؟
معاينة كل سؤال8 أسئلة
تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.
- ما الذي يتم تداوله في نقاط التفتيش المتدرجة في المقام الأول من أجل حفظ الذاكرة؟
- حساب إضافي (إعادة الحساب) لاستخدام ذاكرة أقل
- دقة النموذج للسرعة
- مساحة القرص لعرض النطاق الترددي للشبكة
- الدقة لحجم الدفعة
- لماذا يتم تخزين عمليات التنشيط عادةً أثناء التمرير الأمامي؟
- لعرضها للمستخدم
- لأن الانتشار العكسي يحتاج إلى حساب التدرجات
- لتسريع تحميل البيانات
- ليست هناك حاجة لهم في الواقع
- In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
- It stores no activations and performs no recomputation
- It guarantees constant memory for every model graph
- Activation storage can scale on the order of sqrt(N) checkpoints
- It makes optimizer-state memory scale as sqrt(N)
- What most determines gradient-checkpointing runtime overhead in a practical model?
- Only the model’s file extension
- A fixed 20–30% slowdown for every model
- The number of labels in the dataset
- Which operations are recomputed, checkpoint placement, graph structure, and hardware
- في PyTorch، ما الأداة المساعدة التي يتم استخدامها بشكل شائع لتطبيق فحص التدرج على الوحدة النمطية؟
- torch.utils.checkpoint
- torch.optim.SGD
- torch.nn.Dropout
- torch.cuda.empty_cache
- What happens to operations inside a checkpointed region during backward?
- Their gradients are skipped entirely
- Their forward computations are rerun to regenerate needed activations
- Their weights are permanently discarded
- They are executed only during inference
- Which training techniques can be combined with activation checkpointing to reduce different memory costs?
- Only increasing the number of labels
- Turning off backpropagation
- FSDP for sharded model state and mixed precision for lower-precision tensors
- Replacing the model with a tokenizer
- What is selective activation checkpointing intended to choose?
- Which training labels are removed
- Which model outputs are published
- Which GPU becomes the tokenizer
- Which operations to save and which to recompute based on their memory and runtime costs