گائیڈ سے منسلک کوئز · درمیانہ سطح
ڈیٹا متوازی کوئز
نقل شدہ ماڈلز، گریڈیئنٹ سنکرونائزیشن، بیچ سائزنگ، کمیونیکیشن کے اخراجات، اور ورکرز میں اسکیلنگ ٹریننگ کی حدود کا جائزہ لیں۔
سوال 1 کی 8
معیاری ڈیٹا متوازی میں، ہر GPU کیا رکھتا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- معیاری ڈیٹا متوازی میں، ہر GPU کیا رکھتا ہے؟
- ماڈل کی ایک مکمل کاپی، بیچ کے مختلف ٹکڑوں پر کارروائی کرتے ہوئے
- ماڈل کی تہوں کا ایک مختلف ٹکڑا
- مرکزی طور پر ذخیرہ شدہ وزن کے ساتھ صرف اصلاح کی حالت
- کم پیرامیٹرز کے ساتھ ماڈل کا ایک کمپریسڈ ورژن
- کون سا مواصلاتی آپریشن ماڈل کی نقلوں کو ہر مرحلے میں مطابقت پذیر رکھتا ہے؟
- براڈکاسٹ، جو ایک GPU کے ڈیٹا کو باقی تمام لوگوں میں کاپی کرتا ہے۔
- تمام-کم، جو تمام GPUs میں اوسط گریڈینٹ کرتا ہے۔
- سکیٹر، جو ڈیٹا کو GPUs کے درمیان تقسیم کرتا ہے۔
- GPUs کے درمیان مواصلات کی ضرورت نہیں ہے۔
- What memory limit remains in plain data parallelism?
- The full model is sharded automatically across the GPUs
- Only the input batch uses device memory
- Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
- Each worker stores different model layers by default
- Which factors does NCCL use when selecting collective algorithms?
- Only the random seed and learning rate
- Only the total number of model parameters
- The optimizer type and validation score
- Message size and topology
- PyTorch DistributedDataParallel مواصلات میں تاخیر کو کیسے چھپاتا ہے؟
- جاری پسماندہ پاس کے ساتھ گراڈینٹ آل-ریڈیوس کو اوور لیپ کر کے
- متبادل مراحل پر تدریجی مطابقت پذیری کو چھوڑ کر
- تمام گریڈیئنٹس کو ایک نمبر پر سکیڑ کر
- CPU پر فارورڈ پاس چلا کر
- With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
- B divided by W
- B multiplied by W, before any gradient-accumulation factor
- Always exactly W samples
- The model parameter count divided by B
- Why may adding more data-parallel GPUs fail to increase throughput proportionally?
- All-reduce makes model parameters disappear
- The model is copied only to one worker
- Gradient communication, data loading, and synchronization add overhead
- More workers always reduce the global batch to zero
- What does gradient accumulation let a data-parallel training loop do?
- Shard parameters automatically across all workers
- Skip forward and backward computation
- Replace the model with an all-reduce operation
- Combine gradients from multiple microbatches before an optimizer update