परिमाणीकरण
क्वांटाइजेशन एआई मॉडल की संख्याओं को कम परिशुद्धता पर संग्रहीत करके उसे छोटा कर देता है, इसलिए जिस मॉडल को डेटा-सेंटर जीपीयू की आवश्यकता होती है वह कभी-कभी लैपटॉप या फोन पर चल सकता है।
सिंहावलोकन
It is the main trick that makes large language models cheap and fast enough to deploy widely.
गहरा गोता
एक तंत्रिका नेटवर्क ज्यादातर संख्याओं का एक विशाल ढेर होता है जिसे वज़न कहा जाता है, जिसे आम तौर पर 16- या 32-बिट फ़्लोटिंग-पॉइंट मानों के रूप में संग्रहीत किया जाता है। क्वांटाइजेशन कम बिट्स, आमतौर पर 8-बिट (INT8) या यहां तक कि 4-बिट पूर्णांक का उपयोग करके उन वज़न को फिर से संग्रहीत करता है। 16-बिट से 4-बिट में जाने से मेमोरी लगभग चार गुना कम हो जाती है, इसलिए एक 70-बिलियन-पैरामीटर मॉडल जिसे 16-बिट पर लगभग 140GB की आवश्यकता होती है, वह 4-बिट पर लगभग 35GB में फिट हो सकता है। छोटी संख्याएं भी मेमोरी में तेजी से चलती हैं, जिससे आमतौर पर पीढ़ी की गति तेज हो जाती है। पकड़ सटीकता है: मूल्यों की एक विस्तृत श्रृंखला को कुछ स्तरों में निचोड़ने से गोलाई त्रुटि उत्पन्न होती है। अच्छे तरीके स्केलिंग कारकों को सावधानीपूर्वक चुनकर और सबसे संवेदनशील वजन की रक्षा करके उस नुकसान को कम करते हैं, इसलिए संसाधनों के एक अंश का उपयोग करते समय मॉडल लगभग समान व्यवहार करता है।
तकनीकी अंतर्दृष्टि
वज़न के प्रत्येक समूह को एक स्केल फ़ैक्टर मिलता है जो वास्तविक मानों को पूर्णांकों के एक छोटे सेट पर मैप करता है; पैमाने से गुणा करने पर लगभग मूल संख्या पुनः निर्मित हो जाती है। जीपीटीक्यू और एडब्ल्यूक्यू जैसे प्रशिक्षण के बाद परिमाणीकरण विधियां एक छोटे अंशांकन डेटासेट का विश्लेषण करती हैं ताकि यह तय किया जा सके कि कौन सा वजन सबसे ज्यादा मायने रखता है और सबकुछ को अंधाधुंध गोल करने के बजाय आउटपुट त्रुटि को कम करने के लिए स्केल सेट करता है। सक्रियणों को अक्सर उच्च परिशुद्धता पर रखा जाता है क्योंकि वे रनटाइम पर अधिक भिन्न होते हैं। परिणाम एक मॉडल है जो 4-बिट पूर्णांक संग्रहीत करता है लेकिन परिणामों की गणना पूर्ण-सटीक संस्करण के बेहद करीब करता है।
सामरिक प्रभाव
गति और पैमाना
भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
पहुंच और पहुंच
यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
स्पष्ट निर्णय
टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
परिमाणीकरण का भविष्य
अनुकूलन के बजाय परिमाणीकरण के डिफ़ॉल्ट बनने की अपेक्षा करें। हार्डवेयर विक्रेता मूल 4-बिट और यहां तक कि निचले-बिट समर्थन जोड़ रहे हैं, और क्वांटिज़ेशन-जागरूक प्रशिक्षण जैसी तकनीकें शुरू से ही मॉडल में कम सटीकता के लिए सहनशीलता पैदा करती हैं, जिससे सटीकता की हानि और कम हो जाती है। 2-बिट और 1-बिट (बाइनरी) अभ्यावेदन में अनुसंधान सक्रिय है, जिसका लक्ष्य फोन और एम्बेडेड चिप्स पर सक्षम मॉडल चलाना है। जैसे-जैसे ऑन-डिवाइस और निजी एआई बढ़ते हैं, कुशल परिमाणित मॉडल क्लाउड पर डेटा भेजे बिना स्थानीय स्तर पर सहायक चलाने के लिए केंद्रीय होंगे।
वास्तविक विश्व कार्यान्वयन
एकाधिक डेटा-सेंटर कार्ड की आवश्यकता के बजाय 4-बिट जीजीयूएफ या जीपीटीक्यू फ़ाइलों का उपयोग करके उपभोक्ता जीपीयू पर स्थानीय रूप से लामा जैसे चैट मॉडल को चलाना।
फ़ोन पर ऑन-डिवाइस सहायक, जहां 8-बिट या 4-बिट मॉडल नेटवर्क कनेक्शन के बिना भाषण और पाठ सुविधाओं को चलाने देते हैं।
प्रत्येक जीपीयू पर अधिक अनुरोधों को फिट करके, INT8 मॉडल की सेवा करके ग्राहक-सहायता बॉट के लिए क्लाउड अनुमान लागत में कटौती करना।
स्मार्ट कैमरे या IoT सेंसर जैसे एज डिवाइस सख्त मेमोरी सीमा के भीतर कॉम्पैक्ट क्वांटाइज्ड विज़न-लैंग्वेज मॉडल चलाते हैं।
जोखिम और रेलिंग
मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
कार्यान्वयन रोडमैप
रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Quantization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
अवशिष्ट वेक्टर परिमाणीकरण
अक्सर पूछे जाने वाले प्रश्नों
What is Quantization?
क्वांटाइजेशन एआई मॉडल की संख्याओं को कम परिशुद्धता पर संग्रहीत करके उसे छोटा कर देता है, इसलिए जिस मॉडल को डेटा-सेंटर जीपीयू की आवश्यकता होती है वह कभी-कभी लैपटॉप या फोन पर चल सकता है। यह मुख्य युक्ति है जो बड़े भाषा मॉडल को व्यापक रूप से तैनात करने के लिए सस्ता और तेज़ बनाती है।
परिमाणीकरण मुख्य रूप से तंत्रिका नेटवर्क के बारे में क्या बदलता है?
क्वांटाइजेशन कम संख्यात्मक परिशुद्धता पर मॉडल के वजन को फिर से संग्रहीत करता है, जैसे कि 16- या 32-बिट फ्लोट्स के बजाय 8-बिट या 4-बिट पूर्णांक।
वज़न को 16-बिट से 4-बिट में ले जाने से लगभग कितनी मेमोरी बचाई जाती है?
4 बिट्स 16 बिट्स का एक चौथाई है, इसलिए वजन भंडारण लगभग एक चौथाई तक गिर जाता है, लगभग 4x की कमी।
आक्रामक परिमाणीकरण का मुख्य नकारात्मक पहलू क्या है?
कम स्तरों के साथ मूल्यों का प्रतिनिधित्व करने से राउंडिंग त्रुटि उत्पन्न होती है, जो सावधानी से प्रबंधित नहीं होने पर आउटपुट गुणवत्ता को ख़राब कर सकती है।
GPTQ और AWQ जैसी विधियाँ छोटे अंशांकन डेटासेट का उपयोग किस लिए करती हैं?
ये प्रशिक्षण के बाद के तरीके स्केलिंग कारकों को सेट करने और आउटपुट को मूल के करीब रखते हुए संवेदनशील वजन की रक्षा करने के लिए कुछ नमूना इनपुट का विश्लेषण करते हैं।
परिमाणीकरण अक्सर किसी मॉडल को छोटा ही नहीं, बल्कि तेज़ क्यों बनाता है?
कम-परिशुद्धता मान लोड करने और स्थानांतरित करने के लिए कम मेमोरी बैंडविड्थ लेते हैं, जो अक्सर पीढ़ी के दौरान बाधा होती है, इसलिए अनुमान तेज हो जाता है।