اختبار توازي البيانات

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. في موازاة البيانات القياسية، ما الذي تحمله كل وحدة معالجة رسومات؟
   • نسخة كاملة من النموذج، معالجة شريحة مختلفة من الدفعة
   • شريحة مختلفة من طبقات النموذج
   • فقط حالة المحسن، مع تخزين الأوزان مركزيًا
   • نسخة مضغوطة من النموذج بمعلمات أقل
2. ما هي عملية الاتصال التي تحافظ على مزامنة النسخ المتماثلة للنموذج في كل خطوة؟
   • البث، الذي ينسخ بيانات وحدة معالجة الرسومات (GPU) واحدة إلى جميع البيانات الأخرى
   • All-reduce، والذي يقوم بحساب متوسط التدرجات عبر جميع وحدات معالجة الرسومات
   • مبعثر، الذي يقسم البيانات بين وحدات معالجة الرسومات
   • ليست هناك حاجة للاتصال بين وحدات معالجة الرسومات
3. What memory limit remains in plain data parallelism?
   • The full model is sharded automatically across the GPUs
   • Only the input batch uses device memory
   • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
   • Each worker stores different model layers by default
4. Which factors does NCCL use when selecting collective algorithms?
   • Only the random seed and learning rate
   • Only the total number of model parameters
   • The optimizer type and validation score
   • Message size and topology
5. كيف يخفي PyTorch DistributedDataParallel زمن انتقال الاتصال؟
   • من خلال تداخل التدرج الشامل مع التمريرة الخلفية المستمرة
   • عن طريق تخطي مزامنة التدرج على خطوات متناوبة
   • عن طريق ضغط كافة التدرجات إلى رقم واحد
   • عن طريق تشغيل التمرير الأمامي على وحدة المعالجة المركزية
6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
   • B divided by W
   • B multiplied by W, before any gradient-accumulation factor
   • Always exactly W samples
   • The model parameter count divided by B
7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
   • All-reduce makes model parameters disappear
   • The model is copied only to one worker
   • Gradient communication, data loading, and synchronization add overhead
   • More workers always reduce the global batch to zero
8. What does gradient accumulation let a data-parallel training loop do?
   • Shard parameters automatically across all workers
   • Skip forward and backward computation
   • Replace the model with an all-reduce operation
   • Combine gradients from multiple microbatches before an optimizer update