आगेअगली गाइड
सक्रियण संचालन और प्रतिनिधित्व इंजीनियरिंग
तकनीकी
तकनीकी गाइड
स्मूथक्वांट और एक्टिवेशन क्वांटाइजेशन
स्मूथक्वांट एक ऐसी तकनीक है जो बड़े भाषा मॉडल को बिना दोबारा प्रशिक्षण के वजन और सक्रियण दोनों के लिए 8-बिट पूर्णांक तक संपीड़ित करना संभव बनाती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
यह मायने रखता है क्योंकि बड़े मॉडलों में सक्रियणों में अत्यधिक आउटलेयर होते हैं जो आम तौर पर कम-सटीक गणित को बर्बाद कर देते हैं, और स्मूथक्वांट उन्हें नियंत्रित करता है।
गहरा गोता
जब आप किसी मॉडल को 16-बिट फ़्लोट से 8-बिट पूर्णांक तक सिकोड़ते हैं, तो वज़न आसानी से संपीड़ित हो जाता है, लेकिन सक्रियण में परेशानी होती है: कुछ चैनल बाकी की तुलना में 10 से 100 गुना बड़े मान रखते हैं, और उन्हें एक मोटे पूर्णांक ग्रिड में मजबूर करने से सटीकता नष्ट हो जाती है। स्मूथक्वांट, जिओ एट अल द्वारा प्रस्तुत किया गया। 2022 में, यह देखा गया कि वजन सहज और परिमाणित करने में आसान है जबकि सक्रियताएँ कांटेदार हैं। तो यह गणितीय रूप से कठिनाई को स्थानांतरित करता है: यह सक्रियण चैनलों को प्रति-चैनल पैमाने से विभाजित करता है और संबंधित वजन को उसी पैमाने से गुणा करता है। दो ऑपरेशन रद्द हो जाते हैं, जिससे मॉडल आउटपुट अपरिवर्तित रहता है, लेकिन अब दोनों टेंसर अनुकूल रेंज में बैठते हैं। परिणाम लगभग शून्य सटीकता हानि और लगभग 2x स्पीडअप और मेमोरी बचत के साथ W8A8 (8-बिट वजन और सक्रियण) अनुमान है।
वास्तविक विश्व कार्यान्वयन
मेमोरी और मैट्रिक्स-गुणा लागत दोनों को आधा करके कम GPU पर W8A8 पर 70B-पैरामीटर LLM की सेवा प्रदान करना
NVIDIA हॉपर/ब्लैकवेल टेंसर कोर पर INT8 अनुमान को सक्षम करना जो मूल रूप से 8-बिट पूर्णांक गणित को तेज करता है
लागत-बाधित क्लाउड एंडपॉइंट पर चैट मॉडल तैनात करना जहां थ्रूपुट को दोगुना करने से प्रति टोकन बिल में सीधे कटौती होती है
ऑन-डिवाइस भाषण या अनुवाद के लिए ट्रांसफॉर्मर एनकोडर को संपीड़ित करना जहां 8-बिट कर्नेल तेजी से और कूलर चलते हैं
स्मूथक्वांट और एक्टिवेशन क्वांटाइजेशन का भविष्य
स्मूथक्वांट ने स्थापित किया कि सक्रियण आउटलेर्स अपरिहार्य के बजाय माइग्रेट करने योग्य हैं, और यह विचार अब INT8 और FP8 सेवा के उत्पादन को रेखांकित करता है। अपेक्षा करें कि स्मूथिंग को प्रति-समूह परिमाणीकरण, सीखी गई स्केलिंग और 4-बिट सक्रियण अनुसंधान (उदाहरण के लिए बाहरी-जागरूक तरीकों) जैसी बेहतर योजनाओं के साथ जोड़ा जाएगा। जैसे-जैसे FP8 हार्डवेयर (हॉपर, ब्लैकवेल) परिपक्व होता है, स्मूथिंग-स्टाइल बैलेंसिंग को कंपाइलर और अनुमान-इंजन पाइपलाइनों में बेक किया जाता रहेगा ताकि परिमाणीकरण लगभग मुक्त रहे।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the SmoothQuant and Activation Quantization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
स्मूथक्वांट और एक्टिवेशन क्वांटाइजेशन क्या है?
स्मूथक्वांट एक ऐसी तकनीक है जो बड़े भाषा मॉडल को बिना दोबारा प्रशिक्षण के वजन और सक्रियण दोनों के लिए 8-बिट पूर्णांक तक संपीड़ित करना संभव बनाती है। यह मायने रखता है क्योंकि बड़े मॉडलों में सक्रियणों में अत्यधिक आउटलेयर होते हैं जो आम तौर पर कम-सटीक गणित को बर्बाद कर देते हैं, और स्मूथक्वांट उन्हें नियंत्रित करता है।
स्मूथक्वांट विशेष रूप से कम-परिशुद्धता अनुमान में किस समस्या का समाधान करता है?
स्मूथक्वांट कुछ सक्रियण चैनलों में दिखाई देने वाले बड़े बाहरी मूल्यों को लक्षित करता है, जो अन्यथा सटीकता को नष्ट कर देता है जब सक्रियण को 8 बिट्स तक परिमाणित किया जाता है।
स्मूथक्वांट सक्रियणों को परिमाणित करना कैसे आसान बनाता है?
यह सक्रियण चैनलों को प्रति-चैनल पैमाने से विभाजित करता है और मिलान भार को उस पैमाने से गुणा करता है, इसलिए उत्पाद अपरिवर्तित रहता है लेकिन दोनों टेंसरों को परिमाणित करना आसान हो जाता है।
नोटेशन W8A8 का क्या मतलब है?
W8A8 भार (W) और सक्रियण (A) दोनों के लिए 8-बिट परिमाणीकरण को दर्शाता है, स्मूथक्वांट न्यूनतम सटीकता हानि के साथ सक्षम बनाता है।
स्मूथक्वांट की स्केलिंग अनिवार्य रूप से कोई रनटाइम ओवरहेड क्यों नहीं जोड़ती है?
स्मूथिंग स्केल को समय से पहले पूर्ववर्ती परत के वजन या फ़्यूज्ड ऑप में मोड़ दिया जाता है, इसलिए अनुमान के समय कोई अतिरिक्त गणना नहीं होती है।
स्मूथक्वांट में अल्फा हाइपरपैरामीटर क्या भूमिका निभाता है?
अल्फा (आमतौर पर 0.5) स्मूथिंग फैक्टर को संतुलित करता है, यह तय करता है कि परिमाणीकरण की कितनी कठिनाई सक्रियणों से हटकर वजन पर आती है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं