आगेअगली गाइड
Hugging Face मल्टी-जीपीयू प्रशिक्षण के लिए गति बढ़ाएं
तकनीकी
तकनीकी गाइड
मल्टी-इंस्टेंस जीपीयू विभाजन
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
गहरा गोता
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
वास्तविक विश्व कार्यान्वयन
एक क्लाउड प्रदाता एक A100 को सात उदाहरणों में विभाजित करता है ताकि प्रत्येक सात ग्राहकों को अनुमान के लिए एक गारंटीकृत, पृथक जीपीयू स्लाइस मिल सके।
एक विश्वविद्यालय अनुसंधान क्लस्टर प्रत्येक पीएचडी छात्र को पूरे कार्ड पर एकाधिकार करने के बजाय प्रोटोटाइप के लिए 10 जीबी एमआईजी उदाहरण देता है।
एक अनुमान सेवा कई छोटी भाषा और दृष्टि मॉडल को एक H100 पर पैक करती है, प्रत्येक पूर्वानुमानित विलंबता के साथ अपने स्वयं के विभाजन में।
कुबेरनेट्स क्लस्टर MIG इंस्टेंसेस को शेड्यूल करने योग्य संसाधनों के रूप में विज्ञापित करता है, इसलिए पॉड्स किसी भी अन्य संसाधन की तरह 'nvidia.com/mig-1g.5gb' का अनुरोध करते हैं।
मल्टी-इंस्टेंस जीपीयू विभाजन का भविष्य
जैसे-जैसे GPU 80GB, 141GB और उससे अधिक तक बढ़ते हैं, विभाजन अधिक आकर्षक हो जाता है क्योंकि व्यक्तिगत मॉडलों को अनुमान के लिए शायद ही कभी पूरे कार्ड की आवश्यकता होती है। सख्त कुबेरनेट्स और क्लाउड एकीकरण, नोड को ख़त्म किए बिना गतिशील पुनर्विभाजन, और बेहतर प्रोफ़ाइल की अपेक्षा करें। प्रतिस्पर्धी विक्रेता समान एसआर-आईओवी-शैली जीपीयू वर्चुअलाइजेशन का अनुसरण कर रहे हैं, और सर्वर रहित अनुमान प्लेटफॉर्म तेजी से कई मॉडलों को सघन रूप से पैक करने और निष्क्रिय कचरे को काटने के लिए विभाजन पर भरोसा कर रहे हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Multi-Instance GPU Partitioning quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
मल्टी-इंस्टेंस जीपीयू विभाजन क्या है?
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
MIG को सबसे पहले किस NVIDIA आर्किटेक्चर पर पेश किया गया था?
MIG की शुरुआत एम्पीयर-आधारित A100 के साथ हुई और यह H100 और बाद के डेटा-सेंटर GPU पर जारी रहा।
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
'1g.5gb' जैसी MIG प्रोफ़ाइल में, '5GB' क्या दर्शाता है?
प्रोफ़ाइल इंस्टेंस को दी गई कंप्यूट स्लाइस (1g) और समर्पित मेमोरी (5GB) को एनकोड करती है।
एमआईजी किस कार्यभार के लिए विशेष रूप से उपयुक्त है?
एमआईजी तब चमकता है जब कई छोटे, पृथक कार्यभार (जैसे अनुमान) सेवा की गुणवत्ता की गारंटी के साथ एक कार्ड साझा करते हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं