रजिस्टर की रिपोर्ट है कि AI विक्रेता अनुमान के लिए Nvidia GPU से परे विविधता ला रहे हैं

क्या हुआ?

रजिस्टर कस्टम और वैकल्पिक एआई हार्डवेयर की ओर बढ़ते कदम की रिपोर्ट करता है। इसके खाते में सेरेब्रस के मॉड्यूलर सीएस -4 रैक सिस्टम, कस्टम एक्सेलेरेटर डिजाइन में मार्वेल की बढ़ती भूमिका, Google के विशेष टीपीयू का निरंतर उपयोग और स्वायत्त वाहनों के लिए मशीन-लर्निंग एक्सेलेरेटर के वेमो के विकास को शामिल किया गया है। रिपोर्ट में Microsoft में कई विंडोज़ अनुकूलन और एआई-मॉनिटरिंग सुविधाओं को बहाल करने का भी वर्णन किया गया है, लेकिन यह एक अलग माध्यमिक थ्रेड है।

रजिस्टर की 24 अगस्त की रिपोर्ट इस बात पर केंद्रित है कि इसके संपादकों ने एआई डेटासेंटर में Nvidia की प्रमुख भूमिका से परे एक कदम के रूप में वर्णन किया है। विक्रेता एकल त्वरक प्रकार पर निर्भर होने के बजाय कार्यभार को विभिन्न प्रकार के सिलिकॉन के बीच विभाजित कर रहे हैं। यह मुख्य दबाव बिंदु के रूप में, प्रशिक्षित मॉडलों से अनुमान या आउटपुट उत्पन्न करने को प्रस्तुत करता है: प्रदाता सेवा अनुरोधों की शक्ति और हार्डवेयर लागत को नियंत्रित करते हुए कोडिंग सहायकों और अन्य इंटरैक्टिव सेवाओं के लिए उच्च टोकन दरें चाहते हैं। रजिस्टर का लेख एक पॉडकास्ट प्रतिलेख और विश्लेषण है, इसलिए इसे प्रत्येक तकनीकी दावे के स्वतंत्र रूप से सत्यापित दस्तावेज के बजाय उस आउटलेट से रिपोर्टिंग के रूप में पढ़ा जाना चाहिए।

रजिस्टर की रिपोर्ट है कि सेरेब्रा बड़े, अखंड सिस्टम से अपने सीएस-4 रैक-स्केल डिज़ाइन की ओर बढ़ रहा है। पहले सेरेब्रस सिस्टम ने एक स्व-निहित तरल-ठंडा चेसिस में एक बड़ी, बिजली-भूख वाली वेफर-स्केल चिप रखी थी। नया दृष्टिकोण एक मॉड्यूलर रैक व्यवस्था में तीन चिप्स रखता है, जिससे संबंधित बिजली-वितरण उपकरण को बदले बिना कंप्यूट घटकों को प्रतिस्थापित किया जा सकता है। रजिस्टर का कहना है कि डिज़ाइन घड़ी की गति, मेमोरी बैंडविड्थ और इनपुट-आउटपुट गति को दोगुना कर देता है, जबकि एक रैक में तीन गुना अधिक सिलिकॉन रखता है। इसमें यह भी कहा गया है कि सेरेब्रा ने AWS और AMD के साथ साझेदारी की है, और तेजी से टोकन पीढ़ी ने कोडिंग सहायकों और अन्य अनुमान सेवाओं के लिए रुचि आकर्षित की है।

रिपोर्ट हाइपरस्केलर्स के आसपास एक व्यापक कस्टम-सिलिकॉन पारिस्थितिकी तंत्र का वर्णन करती है: Google ने 2015 के आसपास से अपनी स्वयं की टेन्सर प्रोसेसिंग इकाइयों का उपयोग किया है और कस्टम त्वरक डिजाइन के कुछ हिस्सों के लिए ब्रॉडकॉम पर भरोसा किया है, जबकि मार्वल अधिग्रहण के माध्यम से एक बौद्धिक-संपत्ति पोर्टफोलियो बनाने के बाद कस्टम एक्सपीयू और कनेक्टिविटी कार्य में प्रतिस्पर्धी बन रहा है। लेख इसे क्लाउड कंपनियों के लिए आपूर्तिकर्ताओं की तुलना करने या एकल डिज़ाइन पार्टनर पर निर्भरता कम करने के एक तरीके के रूप में प्रस्तुत करता है, लेकिन एक विशिष्ट नए Google-Marvell अनुबंध का दस्तावेजीकरण नहीं करता है; भविष्य की ग्राहक रणनीतियों और मूल्य निर्धारण दबाव के बारे में दावे टिप्पणी हैं, स्थापित विकास नहीं। वेमो ने वाहनों के लिए एक कस्टम मशीन-लर्निंग एक्सेलेरेटर का खुलासा किया क्योंकि जब कोई बाधा आती है तो सेंसर वॉल्यूम और कम विलंबता मायने रखती है। रजिस्टर का कहना है कि वेमो ने फील्ड-प्रोग्रामेबल गेट ऐरे पर बहुत अधिक भरोसा किया है और अधिक गणना घनत्व और एप्लिकेशन-विशिष्ट एकीकृत सर्किट के आसान विकास की तलाश कर सकता है, लेकिन कोई विनिर्देश, परीक्षण परिणाम, उत्पादन समय सारिणी या सुरक्षा रिकॉर्ड प्रदान नहीं करता है। अलग से, Microsoft न्यूरल-प्रोसेसिंग-यूनिट वर्कलोड में मूवेबल विंडोज 11 टास्कबार, अधिक अनुकूलन योग्य संदर्भ मेनू और टास्क मैनेजर दृश्यता का परीक्षण कर रहा है।

स्रोत विवरण: theregister.com ↗

यह क्यों मायने रखता है?

यह बदलाव AI बुनियादी ढांचे को Nvidia GPU के एक वर्ग पर कम निर्भर बना सकता है और विशेष अनुमान वर्कलोड के लिए डिज़ाइन किए गए हार्डवेयर पर अधिक जोर दे सकता है। तेज़ प्रतिक्रिया समय, कम परिचालन लागत, बेहतर बिजली दक्षता और सेंसर के साथ सख्त एकीकरण द रजिस्टर द्वारा वर्णित व्यावहारिक लक्ष्य हैं। रिपोर्ट यह स्थापित नहीं करती है कि वास्तविक दुनिया की तैनाती में कोई भी विकल्प मोटे तौर पर Nvidia से आगे निकल गया है।

व्यावहारिक महत्व यह है कि एआई का प्रदर्शन केवल मॉडल द्वारा निर्धारित नहीं होता है। रजिस्टर की रिपोर्टिंग विक्रेताओं को विशेष बाधाओं के अनुमान के तहत हार्डवेयर को अनुकूलित करते हुए दिखाती है: इंटरैक्टिव टूल के लिए टोकन-जनरेशन गति, डेटासेंटर रैक के लिए पावर और कूलिंग, और वाहन नियंत्रण के लिए विलंबता। यदि वे डिज़ाइन बड़े पैमाने पर काम करते हैं, तो कंपनियां प्रशिक्षण, उच्च-मात्रा अनुमान, प्रीमियम कम-विलंबता अनुरोध और एज वर्कलोड के लिए अलग-अलग त्वरक चुन सकती हैं। यह एआई इंफ्रास्ट्रक्चर बाजार को और अधिक विशिष्ट बना देगा और ग्राहकों को सामान्य-उद्देश्य वाले जीपीयू सिस्टम के लिए अधिक विकल्प दे सकता है।

सेरेब्रस की रिपोर्ट की गई रैक रीडिज़ाइन एक परिचालन समस्या पर प्रकाश डालती है जिसे हेडलाइन प्रदर्शन दावों में अनदेखा किया जा सकता है। रजिस्टर में कहा गया है कि पहले के सिस्टम चिप के लिए लगभग 15 किलोवाट की खपत करते थे और एक बड़े चेसिस में बिजली-वितरण उपकरण के साथ बंडल किए गए कंप्यूट थे। एक मॉड्यूलर रैक मरम्मत और उन्नयन को कम व्यवधानकारी बना सकता है, भले ही सिलिकॉन असामान्य रूप से बिजली की खपत करता हो। डेटासेंटर ऑपरेटरों के लिए, सेवाक्षमता, केबलिंग, कूलिंग और एक विफल घटक को बदलने की क्षमता पीक थ्रूपुट जितनी ही मायने रख सकती है। स्रोत रिपोर्ट की गई शक्ति या प्रदर्शन के आंकड़ों को स्वतंत्र रूप से सत्यापित नहीं करता है, इसलिए वे लाभ तकनीकी समीक्षा की आवश्यकता वाले दावे बने रहेंगे।

व्यापक आपूर्तिकर्ता आधार सौदेबाजी की शक्ति और निवेश निर्णयों को प्रभावित कर सकता है। रजिस्टर से पता चलता है कि क्लाउड कंपनियां अक्सर अपनी सेवाओं से संबंधित सुविधाओं पर आंतरिक इंजीनियरिंग पर ध्यान केंद्रित करते हुए कस्टम चिप्स के कम विशिष्ट भागों के लिए बाहरी बौद्धिक संपदा फर्मों का उपयोग करती हैं। ब्रॉडकॉम और मार्वेल के बीच प्रतिस्पर्धा हाइपरस्केलर्स को एक और डिज़ाइन मार्ग दे सकती है, लेकिन कस्टम सिलिकॉन सॉफ़्टवेयर और समर्थन दायित्व भी बनाता है। एक कार्यभार के लिए कुशल चिप को प्रोग्राम करना कठिन हो सकता है, प्राप्त करना कठिन हो सकता है या दूसरे के लिए खराब रूप से अनुकूल हो सकता है। रिपोर्ट में Nvidia सिस्टम के साथ कोई लागत तुलना नहीं की गई है और न ही कोई सबूत दिया गया है कि ग्राहक व्यापक पैमाने पर स्विच कर रहे हैं। वेमो का उदाहरण कस्टम एआई हार्डवेयर को केवल डेटासेंटर अर्थशास्त्र के बजाय सुरक्षा-संवेदनशील तैनाती से जोड़ता है: जब कोई वाहन सेंसर इनपुट पर प्रतिक्रिया करता है तो कम विलंबता मायने रखती है, और दूरस्थ मानव हस्तक्षेप तत्काल ऑनबोर्ड प्रसंस्करण के लिए एक आदर्श विकल्प नहीं है। यह बेहतर सुरक्षा प्रदर्शित नहीं करता है; कोई स्वतंत्र मूल्यांकन, विफलता-दर तुलना या नियामक मूल्यांकन नहीं है। संकीर्ण निष्कर्ष यह है कि स्वायत्त वाहन सेंसर प्रसंस्करण और प्रतिक्रिया समय के आसपास सिलिकॉन डिजाइन करने का एक कारण प्रदान करते हैं, जबकि सार्वजनिक प्रभाव वास्तविक परिचालन स्थितियों में सत्यापन पर निर्भर करता है।

आगे क्या देखना है

प्रमुख परीक्षण सार्वजनिक तकनीकी दस्तावेज़ीकरण, स्वतंत्र बेंचमार्क और स्केल किए गए ग्राहक उपयोग के साक्ष्य हैं। देखें कि क्या सेरेब्रस के नए रैक डिज़ाइन, मार्वेल-समर्थित कस्टम एक्सेलेरेटर और वेमो के वाहन सिलिकॉन उत्पादन तक पहुंचते हैं, और क्या उनके लाभ सॉफ्टवेयर, आपूर्ति-श्रृंखला और रखरखाव लागत से अधिक हैं। Microsoft के विंडोज़ परिवर्तनों को सार्वजनिक उपलब्धता के आधार पर भी आंका जाना चाहिए और क्या वे केवल अधिक सिस्टम मॉनिटरिंग जोड़ने के बजाय उपयोगकर्ता नियंत्रण में सुधार करते हैं।

सबसे पहले, सेरेब्रस, वेमो, Google, मार्वेल या उनके ग्राहकों से प्राथमिक तकनीकी सामग्री देखें। उपयोगी साक्ष्य में वास्तुकला दस्तावेज़, शक्ति माप, सॉफ़्टवेयर समर्थन, उत्पादन स्थिति और स्पष्ट रूप से परिभाषित कार्यभार परीक्षण शामिल होंगे। रजिस्टर की रिपोर्ट शामिल कंपनियों का समाचार योग्य मानचित्र प्रदान करती है, लेकिन उपलब्धता, मूल्य निर्धारण, ग्राहक मात्रा या स्वतंत्र प्रदर्शन स्थापित नहीं करती है। वे गायब विवरण यह निर्धारित करते हैं कि क्या विकास उद्योग की चालें हैं या मुख्य रूप से इंजीनियरिंग योजनाएं हैं।

दूसरा, समान की तुलना समान से करें। टोकन-प्रति-सेकंड के आंकड़े मॉडल आकार, बैचिंग, परिशुद्धता, संदर्भ लंबाई और एक साथ उपयोगकर्ताओं की संख्या के साथ भिन्न हो सकते हैं। एक कस्टम त्वरक एक संकीर्ण अनुमान पैटर्न के लिए उत्कृष्ट हो सकता है और सामान्य कार्यभार के लिए कम उपयोगी हो सकता है। समसामयिक जीपीयू सिस्टम के विरुद्ध थ्रूपुट, प्रतिक्रिया विलंबता, प्रति उत्पन्न टोकन ऊर्जा, उपयोग, विश्वसनीयता और स्वामित्व की कुल लागत को मापने वाले स्वतंत्र परीक्षणों पर नज़र रखें। उस संदर्भ के बिना, तेज़ या सस्ते एआई के दावों का मूल्यांकन करना मुश्किल है। तीसरा, वाणिज्यिक संबंधों का पालन करें: रजिस्टर AWS और AMD के साथ सेरेब्रा की साझेदारी की रिपोर्ट करता है और मार्वेल को एक ऐसे क्षेत्र में प्रवेश करने के रूप में वर्णित करता है जो पहले ब्रॉडकॉम और आंतरिक हाइपरस्केलर टीमों के प्रभुत्व में था। महत्वपूर्ण अगला साक्ष्य यह होगा कि क्या वे रिश्ते आम तौर पर सुलभ सेवाओं, नामित तैनाती या दोहराए गए आदेशों का उत्पादन करते हैं। रिपोर्ट की यह अपेक्षा कि AWS या AMD सेवाएँ सेरेब्रस हार्डवेयर का उपयोग कर सकती हैं, भविष्योन्मुखी टिप्पणी है, कोई पुष्ट रोलआउट नहीं है, और इसे एक के रूप में नहीं माना जाना चाहिए।

अंत में, वेमो के वाहन कार्यान्वयन और Microsoft के सॉफ़्टवेयर परिवर्तनों की अलग से निगरानी करें। वेमो के लिए, सार्थक प्रश्न यह हैं कि क्या उत्पादन वाहनों में त्वरक स्थापित किया गया है, यह सेंसर कार्यभार को कैसे संभालता है, कौन से फ़ॉलबैक सिस्टम मौजूद हैं और कौन सा सुरक्षा सत्यापन पूरा हो चुका है। विंडोज़ के लिए, रजिस्टर का कहना है कि टास्कबार मूवमेंट रिलीज़ पूर्वावलोकन चैनल में है और उन्नत एनपीयू प्रक्रिया दृश्यता विकसित की जा रही है, लेकिन सार्वजनिक समय और अंतिम व्यवहार बदल सकता है। जब तक कंपनियां स्थिर उपलब्धता प्रकाशित नहीं करतीं और स्वतंत्र उपयोगकर्ता परिणामों का आकलन नहीं कर लेते, तब तक किसी भी थ्रेड को पूर्ण के रूप में प्रस्तुत नहीं किया जाना चाहिए।

संबंधित मार्गदर्शिकाएँ एवं प्रश्नोत्तरी