आगेअगली गाइड
ऑन-डिवाइस Apple परिनियोजन के लिए कोर एमएल
तकनीकी
तकनीकी गाइड
टेंसर कोर
टेन्सर कोर आधुनिक NVIDIA GPU के अंदर विशेष हार्डवेयर इकाइयाँ हैं जो मैट्रिक्स मल्टीप्ल-एंड-एक्यूमुलेट ऑपरेशन को बहुत तेजी से निष्पादित करती हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
वे मुख्य कारण हैं कि एक एकल जीपीयू बड़े तंत्रिका नेटवर्क को प्रशिक्षित कर सकता है और सामान्य प्रयोजन की गणना की तुलना में अधिक तेजी से चला सकता है।
गहरा गोता
2017 में वोल्टा आर्किटेक्चर के साथ पेश किया गया, टेन्सर कोर समर्पित सर्किट हैं जो मानक CUDA कोर पर एक समय में प्रत्येक गुणा करने के बजाय एक ही ऑपरेशन में एक छोटे मैट्रिक्स गुणन और एक जोड़ (डी = ए एक्स बी + सी) की गणना करते हैं। चूँकि वस्तुतः तंत्रिका नेटवर्क की प्रत्येक परत मैट्रिक्स गुणन तक कम हो जाती है, यह उस गणित से मेल खाता है जिसकी वास्तव में AI को आवश्यकता होती है। प्रत्येक जीपीयू पीढ़ी ने जो कुछ भी संभाला उसका विस्तार किया: वोल्टा ने 4x4 एफपी 16 टाइलें बनाईं, जबकि बाद में एम्पीयर, हॉपर और ब्लैकवेल आर्किटेक्चर ने टीएफ 32, बीएफ 16, आईएनटी 8, एफपी 8 और एफपी 4 जैसे कम-सटीक प्रारूप जोड़े। कम परिशुद्धता का अर्थ है प्रति घड़ी अधिक संख्याएँ संसाधित करना, सटीकता को स्वीकार्य रखते हुए प्रशिक्षण और अनुमान के लिए थ्रूपुट को नाटकीय रूप से बढ़ाना।
वास्तविक विश्व कार्यान्वयन
जीपीटी-शैली ट्रांसफार्मर जैसे बड़े भाषा मॉडल का प्रशिक्षण, जहां बीएफ16 या एफपी8 में टेन्सर कोर पर प्रति चरण अरबों मैट्रिक्स गुणन चलते हैं।
प्रति जीपीयू अधिक उपयोगकर्ताओं को सेवा प्रदान करने के लिए INT8 या FP8 परिमाणीकरण का उपयोग करके चैटबॉट और छवि जनरेटर के लिए वास्तविक समय अनुमान चलाना।
वीडियो गेम में NVIDIA DLSS को तेज करना, जहां एक तंत्रिका नेटवर्क प्रत्येक फ्रेम में टेन्सर कोर का उपयोग करके कम-रिज़ॉल्यूशन फ़्रेम को बढ़ाता है।
प्रोटीन-फोल्डिंग (अल्फाफोल्ड) और मौसम मॉडल जैसे वैज्ञानिक कंप्यूटिंग को तेज करना जिन्हें मैट्रिक्स-भारी तंत्रिका कार्यभार के रूप में पुन: तैयार किया गया है।
टेंसर कोर का भविष्य
टेन्सर कोर हमेशा से कम परिशुद्धता की ओर बढ़ते रहते हैं: हॉपर ने एफपी 8 जोड़ा और ब्लैकवेल ने हार्डवेयर-प्रबंधित स्केलिंग के साथ 4-बिट एफपी 4 पेश किया, जो अनुमान-भारी वर्कलोड के लिए प्रत्येक चरण में थ्रूपुट को लगभग दोगुना कर देता है। स्पार्सिटी (शून्य भार को छोड़कर) के लिए कड़े समर्थन की अपेक्षा करें, माइक्रोस्केलिंग प्रारूप जो संख्याओं के छोटे ब्लॉकों में स्केल कारकों को जोड़ते हैं, और मेमोरी सिस्टम के साथ गहन एकीकरण करते हैं ताकि कोर खिलाए रहें। जैसे-जैसे मॉडल बढ़ते हैं, मैट्रिक्स इंजन, कच्ची घड़ी की गति नहीं, एआई हार्डवेयर प्रदर्शन के लिए केंद्रीय युद्ध का मैदान बना हुआ है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Tensor Cores quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
टेंसर कोर क्या है?
टेन्सर कोर आधुनिक NVIDIA GPU के अंदर विशेष हार्डवेयर इकाइयाँ हैं जो मैट्रिक्स मल्टीप्ल-एंड-एक्यूमुलेट ऑपरेशन को बहुत तेजी से निष्पादित करती हैं। वे मुख्य कारण हैं कि एक एकल जीपीयू बड़े तंत्रिका नेटवर्क को प्रशिक्षित कर सकता है और सामान्य प्रयोजन की गणना की तुलना में अधिक तेजी से चला सकता है।
टेन्सर कोर किस मुख्य गणितीय ऑपरेशन को गति देने के लिए विशेष रूप से डिज़ाइन किए गए हैं?
टेन्सर कोर एक चरण में फ़्यूज्ड मैट्रिक्स गुणन प्लस संचय करते हैं, जो वास्तव में वह ऑपरेशन है जो तंत्रिका नेटवर्क परतों पर हावी होता है।
किस NVIDIA GPU आर्किटेक्चर ने सबसे पहले Tensor Cores पेश किया?
Tensor Cores ने 2017 में वोल्टा आर्किटेक्चर के साथ शुरुआत की, जिसकी शुरुआत FP16 4x4 मैट्रिक्स ऑपरेशन से हुई।
टेन्सर कोर अक्सर एफपी16 या एफपी8 जैसी कम परिशुद्धता का उपयोग क्यों करते हैं?
प्रति संख्या कम बिट्स का उपयोग करने का मतलब है कि प्रत्येक चक्र में हार्डवेयर के माध्यम से अधिक मान प्रवाहित होते हैं, केवल एक छोटी, आमतौर पर सहनीय, सटीकता की हानि के साथ गति में काफी वृद्धि होती है।
सटीकता को संरक्षित करने के लिए, टेन्सर कोर आमतौर पर रनिंग योग (संचय) के लिए किस परिशुद्धता का उपयोग करते हैं?
इनपुट कम परिशुद्धता वाले हो सकते हैं, लेकिन संचायक आमतौर पर राउंडिंग त्रुटियों के निर्माण को सीमित करने के लिए FP32 जैसी उच्च परिशुद्धता में चलता है।
PyTorch जैसे रोजमर्रा के AI फ्रेमवर्क Tensor Cores का उपयोग कैसे करते हैं?
अंतर्निहित लाइब्रेरीज़ बड़े मैट्रिक्स संचालन को स्वचालित रूप से टेन्सर-कोर-आकार की टाइलों में तोड़ देती हैं, इसलिए फ्रेमवर्क को मैन्युअल कोडिंग के बिना स्पीडअप मिलता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं