मॉडल और पाइपलाइन समानता प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. मॉडल और पाइपलाइन समानता किस मूलभूत समस्या का समाधान करती है?
   • एक मॉडल का एक GPU की मेमोरी में फिट होने के लिए बहुत बड़ा होना
   • डिस्क से धीमी गति से डेटा लोड हो रहा है
   • प्रशिक्षण के दौरान ग्रेजुएट्स विस्फोट कर रहे हैं
   • बहुत कम प्रशिक्षण उदाहरण उपलब्ध हैं
2. टेंसर (इंट्रा-लेयर) समांतरता विभाजन कैसे काम करता है?
   • यह विभिन्न GPU को पूरी परतें प्रदान करता है
   • यह गणित को एक परत के अंदर विभाजित करता है, जैसे मैट्रिक्स गुणा, जीपीयू में
   • यह प्रत्येक GPU पर प्रत्येक परत को डुप्लिकेट करता है
   • यह अतिरेक के लिए प्रत्येक परत को दो बार चलाता है
3. अनुभवहीन पाइपलाइन समानता में 'बुलबुला' क्या है?
   • एक स्मृति रिसाव जो समय के साथ बढ़ता जाता है
   • ऑप्टिमाइज़र स्थिति की एक डुप्लिकेट प्रतिलिपि
   • निष्क्रिय समय जब डाउनस्ट्रीम जीपीयू सक्रियण उत्पन्न करने के लिए अपस्ट्रीम चरणों की प्रतीक्षा करता है
   • ग्रेडिएंट मूल्यों में बढ़ोतरी
4. पाइपलाइन समानता बुलबुले को कैसे कम करती है?
   • छोटी सीखने की दर का उपयोग करके
   • मॉडल से कुछ परतें हटाकर
   • सीपीयू पर सक्रियणों को संग्रहीत करके
   • प्रत्येक बैच को सूक्ष्म-बैचों में विभाजित करके जो चरणों से क्रमबद्ध तरीके से प्रवाहित होते हैं
5. टेंसर समानता को आम तौर पर एक ही नोड के भीतर क्यों रखा जाता है?
   • क्योंकि इसके बार-बार आंशिक परिणामों को कम करने से एनवीलिंक जैसे तेज़ इंट्रा-नोड लिंक से लाभ मिलता है
   • क्योंकि इसके लिए किसी संचार की आवश्यकता नहीं है
   • क्योंकि नोड्स बिल्कुल भी डेटा साझा नहीं कर सकते हैं
   • क्योंकि यह केवल एक GPU को सपोर्ट करता है
6. ट्रांसफार्मर प्रशिक्षण में टेंसर समांतरता के लिए कौन सा ढांचा सबसे अच्छा जाना जाता है?
   • स्किकिट-लर्न
   • एनवीडिया मेगेट्रॉन-एलएम
   • ओपनसीवी
   • पांडा
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation