तकनीकी गाइड
आरएमएसनॉर्म और प्री-लेयर सामान्यीकरण
RMSNorm एक हल्की सामान्यीकरण परत है जो सक्रियणों को उनके मूल माध्य वर्ग के आधार पर पुन: मापती है, और प्री-लेयर सामान्यीकरण उन स्थानों को रखती है जो बाद के बजाय प्रत्येक उपपरत से पहले कदम रखते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
साथ में वे वार्मअप ट्रिक्स के बिना गहरे ट्रांसफार्मर को स्थिर रूप से प्रशिक्षित करते हैं।
गहरा गोता
मानक लेयरनॉर्म माध्य को घटाता है और एक फीचर वेक्टर में मानक विचलन से विभाजित करता है, फिर एक सीखा हुआ पैमाना और बदलाव लागू करता है। 2019 में झांग और सेनरिच द्वारा पेश किया गया RMSNorm, माध्य-केंद्रित और पूर्वाग्रह को पूरी तरह से हटा देता है: यह बस प्रत्येक वेक्टर को उसके तत्वों के मूल माध्य वर्ग से विभाजित करता है और सीखे गए प्रति-सुविधा लाभ से गुणा करता है। यह एक आँकड़ा और कई परिचालनों को हटा देता है, सटीकता का मिलान करते हुए मानक परत में गणना को लगभग 10-50% तक कम कर देता है। अलग से, 'प्री-एलएन' प्लेसमेंट (ध्यान/एमएलपी से पहले का मानदंड, इसके चारों ओर एक साफ अवशिष्ट पथ के साथ) आरंभीकरण के समय ग्रेडिएंट परिमाण को सीमित रखता है, इसलिए जीपीटी-3, एलएलएएमए और पीएएलएम जैसे मॉडल सीखने की दर वार्मअप हैक के बिना ट्रेन करते हैं जो कि मूल पोस्ट-एलएन ट्रांसफार्मर की आवश्यकता होती है।
वास्तविक विश्व कार्यान्वयन
LLaMA, मिस्ट्रल और क्वेन सभी प्रत्येक टोकन पर अनुमान विलंबता को कम करने के लिए LayerNorm को RMSNorm से प्रतिस्थापित करते हैं
प्री-एलएन जीपीटी-शैली मॉडल को सीखने की दर के वार्मअप के बिना प्रशिक्षित करने देता है जिसकी 2017 पोस्ट-एलएन ट्रांसफार्मर को आवश्यकता थी
QK-सामान्यीकरण बड़े मॉडलों में लॉग को विस्फोट से रोकने के लिए ध्यान संबंधी प्रश्नों और कुंजियों पर RMSNorm का उपयोग करता है
मोबाइल और एज ट्रांसफार्मर RMSNorm को अपनाते हैं क्योंकि माध्य और पूर्वाग्रह छोड़ने से मेमोरी ट्रैफ़िक कम हो जाता है
आरएमएसनॉर्म और प्री-लेयर सामान्यीकरण का भविष्य
अधिकांश ओपन-वेट एलएलएम (एलएलएएमए, मिस्ट्रल, क्वेन, जेम्मा) में आरएमएसनॉर्म अब डिफ़ॉल्ट है, इसलिए उम्मीद करें कि यह मानक बना रहेगा। अनुसंधान नुस्खा को परिष्कृत कर रहा है: QK-मानदंड लॉगिट वृद्धि को नियंत्रित करने के लिए ध्यान संबंधी प्रश्नों और कुंजियों पर RMSNorm लागू करता है, और कुछ प्रयोगशालाएं ट्रिलियन-पैरामीटर पैमाने पर अतिरिक्त स्थिरता के लिए पूर्व और उत्तर-मानदंड ('सैंडविच' या 'पेरी-एलएन') को जोड़ती हैं। हार्डवेयर कर्नेल गति के लिए ऑपरेशन को फ़्यूज़ करते रहते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the RMSNorm and Pre-Layer Normalization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
RMSNorm और प्री-लेयर नॉर्मलाइज़ेशन क्या है?
RMSNorm एक हल्की सामान्यीकरण परत है जो सक्रियणों को उनके मूल माध्य वर्ग के आधार पर पुन: मापती है, और प्री-लेयर सामान्यीकरण उन स्थानों को रखती है जो बाद के बजाय प्रत्येक उपपरत से पहले कदम रखते हैं। साथ में वे वार्मअप ट्रिक्स के बिना गहरे ट्रांसफार्मर को स्थिर रूप से प्रशिक्षित करते हैं।
मानक लेयरनॉर्म की तुलना में आरएमएसनॉर्म क्या छोड़ता है?
RMSNorm गणना करना और माध्य घटाना छोड़ देता है, केवल सक्रियणों के मूल माध्य वर्ग द्वारा सामान्यीकृत होता है।
RMSNorm प्रत्येक सक्रियण वेक्टर को किस मात्रा से विभाजित करता है?
RMSNorm वर्ग तत्वों के माध्य के वर्ग से विभाजित होता है, यानी मूल माध्य वर्ग, फिर सीखा हुआ लाभ लागू करता है।
What gradient behavior does Pre-LN support at initialization in deep Transformers?
Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.
प्री-एलएन ब्लॉक में, सामान्यीकरण परत जानबूझकर किस पथ को अछूता छोड़ देती है?
प्री-एलएन एक सबलेयर में इनपुट को सामान्य करता है लेकिन अवशिष्ट शॉर्टकट इसे बायपास कर देता है, जिससे एक स्वच्छ ढाल राजमार्ग संरक्षित होता है।
कौन से आधुनिक ओपन-वेट मॉडल परिवार डिफ़ॉल्ट रूप से RMSNorm का उपयोग करते हैं?
आरएमएसनॉर्म एलएलएएमए, मिस्ट्रल, क्वेन, जेम्मा और सबसे हाल के एलएलएम में मानक सामान्यीकरण बन गया।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं