सामूहिक संचार और एनसीसीएल प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. वितरित प्रशिक्षण में ऑल-रिड्यूस ऑपरेशन क्या पूरा करता है?
   • यह सभी जीपीयू में मूल्यों को जोड़ता है और प्रत्येक जीपीयू को संयुक्त परिणाम देता है
   • यह एक GPU से अनावश्यक डेटा हटा देता है
   • यह बिजली बचाने के लिए GPU क्लॉक स्पीड को कम कर देता है
   • यह सभी GPU से डेटा को एक स्टोरेज डिस्क पर भेजता है
2. एनसीसीएल का संक्षिप्त रूप क्या है?
   • तंत्रिका कम्प्यूट क्लस्टर परत
   • नेटवर्क कैश नियंत्रण तर्क
   • NVIDIA कलेक्टिव कम्युनिकेशंस लाइब्रेरी
   • न्यूमेरिक कन्वोल्यूशन कंप्यूट लाइब्रेरी
3. Why can chunked ring communication be useful for a large tensor?
   • It guarantees constant latency for any number of devices
   • Chunks can be streamed across participating links instead of waiting for one monolithic transfer
   • It makes topology irrelevant
   • It prevents all network contention
4. कौन सा सामूहिक ऑपरेशन प्रत्येक GPU के डेटा के टुकड़े को सभी GPU द्वारा रखी गई एक पूर्ण प्रतिलिपि में एकत्रित करता है?
   • प्रसारण
   • घटाओ-बिखराओ
   • बाधा
   • सब इकट्ठा
5. What does a supported network reduction offload such as SHARP do?
   • Guarantee exactly half the traffic for every collective
   • Remove the need for participating ranks
   • Perform some reduction work in compatible network hardware
   • Turn all-gather into a local memory copy
6. एनसीसीएल आमतौर पर सर्वर (नोड्स) के बीच संचार के लिए किस इंटरकनेक्ट का उपयोग करता है?
   • इनफिनीबैंड या आरओसीई
   • एक यूएसबी केबल
   • केवल PCIe स्लॉट
   • वाई-फ़ाई
7. Three ranks contribute scalar values 2, 3 and 5 to a sum all-reduce. What value does each receive?
   • Only its own original value
   • 3 for the middle rank and nothing elsewhere
   • The average 3.33 unless requested separately
   • 10
8. Which collective combines contributions but distributes reduced pieces instead of the entire reduced buffer to every rank?
   • सब इकट्ठा
   • घटाओ-बिखराओ
   • प्रसारण
   • A standalone model checkpoint