आगेअगली गाइड
GPTQ और AWQ प्रशिक्षण उपरांत परिमाणीकरण
तकनीकी
तकनीकी गाइड
डीपस्पीड और मेगेट्रॉन ट्रेनिंग स्टैक
डीपस्पीड (Microsoft) और मेगेट्रॉन-एलएम (NVIDIA) सॉफ्टवेयर स्टैक हैं जो हजारों जीपीयू में अरबों मापदंडों के साथ प्रशिक्षण मॉडल को वास्तव में संभव बनाते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
उनके बिना, आज के सीमांत मॉडल स्मृति में फिट नहीं हो सकते या उचित समय में प्रशिक्षण पूरा नहीं कर सकते।
गहरा गोता
एक जीपीयू पर एक बड़े मॉडल को प्रशिक्षित करना असंभव है क्योंकि वजन, ग्रेडिएंट और ऑप्टिमाइज़र स्थिति फिट नहीं होती हैं। ये स्टैक कार्य को कई GPU में विभाजित करते हैं। मेगेट्रॉन-एलएम ने टेन्सर समानता का बीड़ा उठाया, जीपीयू में प्रत्येक परत के अंदर अलग-अलग मैट्रिक्स गुणन को स्लाइस किया, साथ ही पाइपलाइन समानता, जो विभिन्न जीपीयू पर अलग-अलग परतें डालती है। डीपस्पीड का हस्ताक्षर योगदान ज़ीरो (ज़ीरो रिडंडेंसी ऑप्टिमाइज़र) है, जो ऑप्टिमाइज़र राज्यों, ग्रेडिएंट्स और मापदंडों को प्रतिकृति बनाने के बजाय जीपीयू में विभाजित करता है, प्रति-जीपीयू मेमोरी को नाटकीय रूप से काटता है। ब्लूम-176बी और मेगेट्रॉन-ट्यूरिंग एनएलजी जैसे मॉडलों को प्रशिक्षित करने के लिए दोनों को अक्सर संयुक्त (मेगेट्रॉन-डीपस्पीड) किया जाता है। वे सीपीयू या एनवीएमई में मिश्रित-परिशुद्धता, सक्रियण चेकपॉइंटिंग और ऑफलोडिंग भी जोड़ते हैं, इसलिए विशाल मॉडल सीमित हार्डवेयर पर प्रशिक्षित होते हैं।
वास्तविक विश्व कार्यान्वयन
सैकड़ों जीपीयू में संयुक्त मेगेट्रॉन-डीपस्पीड स्टैक का उपयोग करके खुले बहुभाषी BLOOM-176B मॉडल का प्रशिक्षण।
Microsoft और NVIDIA 3D समानता के साथ 530-बिलियन-पैरामीटर मेगेट्रॉन-ट्यूरिंग NLG मॉडल का प्रशिक्षण दे रहे हैं।
ज़ीरो-ऑफलोड शोधकर्ताओं को सीपीयू रैम में ऑप्टिमाइज़र राज्यों को फैलाकर एकल वर्कस्टेशन जीपीयू पर मल्टी-बिलियन-पैरामीटर मॉडल को ठीक करने की सुविधा देता है।
उन सभी को संग्रहीत करने के बजाय सक्रियणों की पुनः गणना करके लंबी संदर्भ विंडो को फिट करने के लिए इन स्टैक में सक्रियण चेकपॉइंटिंग का उपयोग करना।
डीपस्पीड और मेगेट्रॉन ट्रेनिंग स्टैक का भविष्य
PyTorch के मूल FSDP (फुली शेयर्ड डेटा पैरेलल) के साथ सख्त एकीकरण की अपेक्षा करें, जिसने कई ज़ीरो विचारों को अवशोषित किया, जिससे अनुसंधान स्टैक और कोर फ्रेमवर्क के बीच की रेखा धुंधली हो गई। कंपाइलर-संचालित दृष्टिकोण और स्वचालित समांतरता योजनाकारों का लक्ष्य मैन्युअल ट्यूनिंग को हटाना है। जैसे-जैसे प्रशिक्षण क्लस्टर सैकड़ों-हजारों त्वरक की ओर बढ़ते हैं, एनवीआईडीआईए ब्लैकवेल और कस्टम प्रशिक्षण चिप्स जैसे नए हार्डवेयर के लिए समर्थन के साथ-साथ दोष सहिष्णुता, लोचदार स्केलिंग और गणना के साथ ओवरलैपिंग संचार प्रमुख इंजीनियरिंग सीमाएं बन जाते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the DeepSpeed and Megatron Training Stacks quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
डीपस्पीड और मेगेट्रॉन ट्रेनिंग स्टैक क्या है?
डीपस्पीड (Microsoft) और मेगेट्रॉन-एलएम (NVIDIA) सॉफ्टवेयर स्टैक हैं जो हजारों जीपीयू में अरबों मापदंडों के साथ प्रशिक्षण मॉडल को वास्तव में संभव बनाते हैं। उनके बिना, आज के सीमांत मॉडल स्मृति में फिट नहीं हो सकते या उचित समय में प्रशिक्षण पूरा नहीं कर सकते।
डीपस्पीड के ज़ीरो ऑप्टिमाइज़र का प्राथमिक उद्देश्य क्या है?
ज़ीरो (ज़ीरो रिडंडेंसी ऑप्टिमाइज़र) प्रत्येक डिवाइस पर उन्हें दोहराने के बजाय जीपीयू में ऑप्टिमाइज़र राज्यों, ग्रेडिएंट्स और पैरामीटर्स को विभाजित करके मेमोरी रिडंडेंसी को समाप्त करता है।
टेन्सर समानता, जैसा कि मेगेट्रॉन-एलएम में अग्रणी है, मॉडल को कैसे विभाजित करता है?
टेन्सर समांतरता गणित को एक ही परत के अंदर विभाजित करती है (जैसे कि एक बड़ा मैट्रिक्स गुणा) कई जीपीयू में, जो इंट्रा-लेयर विभाजन है।
कौन सा ज़ीरो चरण स्वयं मॉडल मापदंडों को भी साझा करके सबसे बड़ी मेमोरी बचत प्रदान करता है?
ज़ीरो स्टेज 3 ग्रेडिएंट्स और ऑप्टिमाइज़र स्टेट्स के अलावा पैरामीटर्स को शार्प करता है, उन्हें मांग पर इकट्ठा करता है, जिससे सबसे बड़ी मेमोरी कमी आती है।
प्रशिक्षण के दौरान स्मृति को बचाने के लिए 'एक्टिवेशन चेकपॉइंटिंग' क्या करती है?
सक्रियण चेकपॉइंटिंग कम मध्यवर्ती सक्रियणों को संग्रहीत करता है और बैकप्रॉपैगेशन के दौरान उनकी पुन: गणना करता है, कम मेमोरी के लिए अतिरिक्त गणना का व्यापार करता है।
इन तकनीकों के संयोजन को अक्सर '3डी समानता' क्यों कहा जाता है?
3डी समानतावाद तीन ऑर्थोगोनल रणनीतियों को ढेर करता है: डेटा समानतावाद, टेंसर (इंट्रा-लेयर) समानतावाद, और पाइपलाइन (अंतर-परत) समानतावाद।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं