डीपस्पीड और मेगेट्रॉन ट्रेनिंग स्टैक क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. डीपस्पीड के ज़ीरो ऑप्टिमाइज़र का प्राथमिक उद्देश्य क्या है?
   • मेमोरी को बचाने के लिए GPU में ऑप्टिमाइज़र स्थिति, ग्रेडिएंट और पैरामीटर को शार्प करना
   • परिनियोजन के लिए अंतिम मॉडल को संपीड़ित करने के लिए
   • फ्रेमवर्क के बीच मॉडल का अनुवाद करना
   • प्रशिक्षण डेटा को स्वचालित रूप से लेबल करने के लिए
2. टेन्सर समानता, जैसा कि मेगेट्रॉन-एलएम में अग्रणी है, मॉडल को कैसे विभाजित करता है?
   • अलग-अलग GPU पर अलग-अलग परतें लगाकर
   • जीपीयू में एक परत के भीतर अलग-अलग मैट्रिक्स गुणन को काटकर
   • प्रत्येक GPU को डेटा का एक अलग बैच देकर
   • अलग-अलग GPU पर अलग-अलग समय चरण संग्रहीत करके
3. पाइपलाइन समानता टेंसर समानता से भिन्न है क्योंकि यह मॉडल को विभाजित करती है:
   • प्रत्येक परत के अंदर मैट्रिसेस को काटना
   • प्रत्येक GPU पर पूरे मॉडल की नकल करना
   • अलग-अलग जीपीयू को अलग-अलग परतें (चरण) निर्दिष्ट करना
   • कम परिशुद्धता के लिए वज़न का परिमाणीकरण करना
4. कौन सा ज़ीरो चरण स्वयं मॉडल मापदंडों को भी साझा करके सबसे बड़ी मेमोरी बचत प्रदान करता है?
   • चरण 1
   • चरण 2
   • चरण 0
   • चरण 3
5. प्रशिक्षण के दौरान स्मृति को बचाने के लिए 'एक्टिवेशन चेकपॉइंटिंग' क्या करती है?
   • बैकवर्ड पास के दौरान सक्रियणों की पुनः गणना करके अतिरिक्त गणना करें
   • मॉडल सटीकता
   • नेटवर्क बैंडविड्थ
   • परतों की संख्या
6. इन तकनीकों के संयोजन को अक्सर '3डी समानता' क्यों कहा जाता है?
   • यह केवल 3डी ग्राफ़िक्स कार्ड पर काम करता है
   • यह तीन अक्षों के साथ डेटा, टेंसर और पाइपलाइन समानता को जोड़ती है
   • यह अधिकतम तीन जीपीयू का उपयोग करता है
   • यह तीन आयामों में मॉडल प्रस्तुत करता है
7. Which ZeRO stage first shards optimizer state across data-parallel workers?
   • चरण 0
   • चरण 2
   • चरण 1
   • चरण 3
8. What does CPU or NVMe offloading do in large-model training stacks?
   • Copies the full model to every GPU
   • Removes all inter-GPU communication
   • Changes tensor parallelism into reinforcement learning
   • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget