मल्टी-इंस्टेंस जीपीयू विभाजन
मल्टी-इंस्टेंस जीपीयू (एमआईजी) एक एनवीआईडीआईए तकनीक है जो एक भौतिक जीपीयू को कई अलग-अलग हार्डवेयर विभाजनों में विभाजित करती है।
सिंहावलोकन
It matters because it lets one expensive accelerator serve many small workloads at once without them interfering with each other.
गहरा गोता
NVIDIA A100 (एम्पीयर) के साथ पेश किया गया और H100 और नए डेटा-सेंटर GPU पर जारी रखा गया, MIG एक GPU को सात स्वतंत्र उदाहरणों में बनाता है। सॉफ़्टवेयर टाइम-स्लाइसिंग के विपरीत, एमआईजी वास्तविक हार्डवेयर अलगाव प्रदान करता है: प्रत्येक इंस्टेंस को अपने स्वयं के समर्पित स्ट्रीमिंग मल्टीप्रोसेसर (एसएम), एल2 कैश स्लाइस, मेमोरी कंट्रोलर और उच्च-बैंडविड्थ मेमोरी का एक निश्चित स्लाइस मिलता है। 40GB वाले A100 को सात 5GB इंस्टेंस या उससे कम बड़े इंस्टेंस में विभाजित किया जा सकता है। प्रत्येक विभाजन एक छोटे स्टैंडअलोन जीपीयू की तरह व्यवहार करता है, इसलिए एक उदाहरण में शोर या क्रैश होने वाला कार्य दूसरे को भूखा या भ्रष्ट नहीं कर सकता है। सेवा की यह गारंटीकृत गुणवत्ता एमआईजी को अनुमान सेवा, बहु-किरायेदार समूहों और विकास वातावरण के लिए आदर्श बनाती है जहां कई उपयोगकर्ता एक कार्ड साझा करते हैं।
तकनीकी अंतर्दृष्टि
एमआईजी जीपीयू के आंतरिक क्रॉसबार को भौतिक रूप से गेट करके काम करता है ताकि प्रत्येक इंस्टेंस के पास अपनी मेमोरी स्लाइस और एसएम के लिए एक निश्चित पथ हो। NVIDIA प्रोफाइल को 1g.5gb (एक कंप्यूट स्लाइस, 5GB) से लेकर 7g.40gb तक के अंशों के रूप में परिभाषित करता है। एक जीपीयू इंस्टेंस मेमोरी और एसएम को सुरक्षित रखता है; इसके भीतर एक कंप्यूट इंस्टेंस एसएम को और अधिक उप-विभाजित करता है। चूँकि विभाजन हार्डवेयर-प्रवर्तित हैं, दोष, ईसीसी त्रुटियाँ और मेमोरी बैंडविड्थ एक ही उदाहरण तक सीमित रहते हैं।
सामरिक प्रभाव
लागत और बजट
वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
स्पष्ट निर्णय
तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
गुणवत्ता नियंत्रण
बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
मल्टी-इंस्टेंस जीपीयू विभाजन का भविष्य
जैसे-जैसे GPU 80GB, 141GB और उससे अधिक तक बढ़ते हैं, विभाजन अधिक आकर्षक हो जाता है क्योंकि व्यक्तिगत मॉडलों को अनुमान के लिए शायद ही कभी पूरे कार्ड की आवश्यकता होती है। सख्त कुबेरनेट्स और क्लाउड एकीकरण, नोड को ख़त्म किए बिना गतिशील पुनर्विभाजन, और बेहतर प्रोफ़ाइल की अपेक्षा करें। प्रतिस्पर्धी विक्रेता समान एसआर-आईओवी-शैली जीपीयू वर्चुअलाइजेशन का अनुसरण कर रहे हैं, और सर्वर रहित अनुमान प्लेटफॉर्म तेजी से कई मॉडलों को सघन रूप से पैक करने और निष्क्रिय कचरे को काटने के लिए विभाजन पर भरोसा कर रहे हैं।
वास्तविक विश्व कार्यान्वयन
एक क्लाउड प्रदाता एक A100 को सात उदाहरणों में विभाजित करता है ताकि प्रत्येक सात ग्राहकों को अनुमान के लिए एक गारंटीकृत, पृथक जीपीयू स्लाइस मिल सके।
एक विश्वविद्यालय अनुसंधान क्लस्टर प्रत्येक पीएचडी छात्र को पूरे कार्ड पर एकाधिकार करने के बजाय प्रोटोटाइप के लिए 10 जीबी एमआईजी उदाहरण देता है।
एक अनुमान सेवा कई छोटी भाषा और दृष्टि मॉडल को एक H100 पर पैक करती है, प्रत्येक पूर्वानुमानित विलंबता के साथ अपने स्वयं के विभाजन में।
कुबेरनेट्स क्लस्टर MIG इंस्टेंसेस को शेड्यूल करने योग्य संसाधनों के रूप में विज्ञापित करता है, इसलिए पॉड्स किसी भी अन्य संसाधन की तरह 'nvidia.com/mig-1g.5gb' का अनुरोध करते हैं।
जोखिम और रेलिंग
एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
कार्यान्वयन रोडमैप
कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Instance GPU Partitioning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
मल्टी-टास्क लर्निंग
अक्सर पूछे जाने वाले प्रश्नों
What is Multi-Instance GPU Partitioning?
मल्टी-इंस्टेंस जीपीयू (एमआईजी) एक एनवीआईडीआईए तकनीक है जो एक भौतिक जीपीयू को कई अलग-अलग हार्डवेयर विभाजनों में विभाजित करती है। यह मायने रखता है क्योंकि यह एक महंगे त्वरक को एक-दूसरे के साथ हस्तक्षेप किए बिना कई छोटे कार्यभार को पूरा करने की सुविधा देता है।
एमआईजी उदाहरणों के बीच किस प्रकार का अलगाव प्रदान करता है?
एमआईजी हार्डवेयर में अलगाव को लागू करता है, प्रत्येक उदाहरण के लिए एसएम, एल2 कैश स्लाइस और मेमोरी को समर्पित करता है ताकि कार्यभार हस्तक्षेप न कर सके।
MIG को सबसे पहले किस NVIDIA आर्किटेक्चर पर पेश किया गया था?
MIG की शुरुआत एम्पीयर-आधारित A100 के साथ हुई और यह H100 और बाद के डेटा-सेंटर GPU पर जारी रहा।
MIG-सक्षम GPU को अधिकतम कितने उदाहरणों में विभाजित किया जा सकता है?
A100 जैसे MIG-सक्षम GPU को अधिकतम सात स्वतंत्र उदाहरणों में विभाजित किया जा सकता है।
'1g.5gb' जैसी MIG प्रोफ़ाइल में, '5GB' क्या दर्शाता है?
प्रोफ़ाइल इंस्टेंस को दी गई कंप्यूट स्लाइस (1g) और समर्पित मेमोरी (5GB) को एनकोड करती है।
एमआईजी किस कार्यभार के लिए विशेष रूप से उपयुक्त है?
एमआईजी तब चमकता है जब कई छोटे, पृथक कार्यभार (जैसे अनुमान) सेवा की गुणवत्ता की गारंटी के साथ एक कार्ड साझा करते हैं।