डेटा समांतरता प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मानक डेटा समानता में, प्रत्येक GPU क्या रखता है?
   • मॉडल की एक पूरी प्रतिलिपि, बैच के एक अलग टुकड़े को संसाधित करते हुए
   • मॉडल की परतों का एक अलग टुकड़ा
   • केवल अनुकूलक स्थिति, भार केंद्रीय रूप से संग्रहीत होता है
   • कम पैरामीटर वाले मॉडल का एक संपीड़ित संस्करण
2. कौन सा संचार ऑपरेशन प्रत्येक चरण में मॉडल प्रतिकृतियों को सिंक में रखता है?
   • प्रसारण, जो एक जीपीयू के डेटा को अन्य सभी में कॉपी करता है
   • ऑल-रिड्यूस, जो सभी जीपीयू में ग्रेडिएंट का औसत रखता है
   • स्कैटर, जो डेटा को GPU के बीच विभाजित करता है
   • GPU के बीच किसी संचार की आवश्यकता नहीं है
3. What memory limit remains in plain data parallelism?
   • The full model is sharded automatically across the GPUs
   • Only the input batch uses device memory
   • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
   • Each worker stores different model layers by default
4. Which factors does NCCL use when selecting collective algorithms?
   • Only the random seed and learning rate
   • Only the total number of model parameters
   • The optimizer type and validation score
   • Message size and topology
5. PyTorch DistributedDataParallel संचार विलंबता को कैसे छिपाता है?
   • चल रहे बैकवर्ड पास के साथ ग्रेडिएंट ऑल-रिड्यूस को ओवरलैप करके
   • वैकल्पिक चरणों पर ग्रेडिएंट सिंक्रोनाइज़ेशन को छोड़ कर
   • सभी ग्रेडिएंट्स को एक ही संख्या में संपीड़ित करके
   • सीपीयू पर फॉरवर्ड पास चलाकर
6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
   • B divided by W
   • B multiplied by W, before any gradient-accumulation factor
   • Always exactly W samples
   • The model parameter count divided by B
7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
   • All-reduce makes model parameters disappear
   • The model is copied only to one worker
   • Gradient communication, data loading, and synchronization add overhead
   • More workers always reduce the global batch to zero
8. What does gradient accumulation let a data-parallel training loop do?
   • Shard parameters automatically across all workers
   • Skip forward and backward computation
   • Replace the model with an all-reduce operation
   • Combine gradients from multiple microbatches before an optimizer update