बड़े मॉडल प्रश्नोत्तरी के लिए टेन्सर समांतरता

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. टेन्सर समांतरता जीपीयू में क्या विभाजित करती है?
   • वज़न मैट्रिक्स एक ही परत के भीतर होता है
   • संपूर्ण परतें अलग-अलग GPU पर रखी गईं
   • विभिन्न प्रशिक्षण डेटासेट
   • अनुकूलक सीखने की दर
2. मेगेट्रॉन-शैली एमएलपी विभाजन में, संचार को कम करने के लिए दो वजन मैट्रिक्स को कैसे विभाजित किया जाता है?
   • दोनों कॉलम-वार
   • पहला कॉलम-वार, दूसरा पंक्ति-वार
   • दोनों पंक्तिवार
   • वे बिल्कुल भी विभाजित नहीं हैं
3. टेन्सर समानता को आमतौर पर एक ही नोड के भीतर क्यों रखा जाता है?
   • नोड्स GPU नहीं चला सकते
   • विभिन्न नोड्स में जीपीयू अलग-अलग गणित का उपयोग करते हैं
   • इसे लगातार उच्च-बैंडविड्थ संचार की आवश्यकता होती है जो एनवीलिंक द्वारा सबसे अच्छी सेवा प्रदान की जाती है
   • यह एक कानूनी आवश्यकता है
4. टेंसर समानता के तहत ध्यान तंत्र को आम तौर पर कैसे समानांतर किया जाता है?
   • प्रत्येक GPU को अनावश्यक रूप से गणना पर पूरा ध्यान देकर
   • ध्यान पूरी तरह से हटाकर
   • ध्यान को कनवल्शन में परिवर्तित करके
   • ध्यान प्रमुखों को विभाजित करके, प्रत्येक GPU एक सबसेट को संभालता है
5. कौन सा सामूहिक ऑपरेशन आमतौर पर टेन्सर समानता में आंशिक परिणामों को जोड़ता है?
   • एक सर्व-कम
   • एक फ़ाइल प्रति
   • एक डेटाबेस जुड़ता है
   • एक डीएनएस लुकअप
6. टेंसर समानता आम तौर पर '3डी समानता' में कैसे फिट होती है?
   • यह समानता के अन्य सभी रूपों को प्रतिस्थापित करता है
   • इसे पाइपलाइन और डेटा समानता के साथ जोड़ा गया है
   • यह केवल किसी अन्य समानता के बिना काम करता है
   • इसका उपयोग केवल छवि मॉडल के लिए किया जाता है
7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
   • The GPUs each hold a different optimizer
   • The result is a vocabulary probability that must be sorted
   • Each GPU computed a partial contribution to the same output, so the pieces must be summed
   • The model needs to average separate datasets
8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
   • Tensor parallelism never communicates between GPUs
   • The attention mask must be copied after every token
   • Every GPU trains a separate model
   • Collectives are required repeatedly within layers, so communication latency accumulates