बुनियादी गाइड
वजन में कमी और एल2 नियमितीकरण
वज़न घटाना एक सरल, शक्तिशाली तकनीक है जो प्रशिक्षण के दौरान एक मॉडल के वज़न को शून्य की ओर ले जाती है, और उसे किसी एक सुविधा पर बहुत अधिक निर्भर होने से हतोत्साहित करती है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It reduces overfitting and is one of the most widely used regularizers in deep learning.
गहरा गोता
जब कोई मॉडल प्रशिक्षण लेता है, तो यह बड़े, बारीक-बारीक वजन बढ़ाकर डेटा में शोर को पकड़ सकता है जो प्रशिक्षण सेट में पूरी तरह फिट बैठता है लेकिन सामान्यीकरण खराब होता है। L2 नियमितीकरण हानि फ़ंक्शन के वर्ग भार के योग के अनुपात में जुर्माना जोड़कर इससे लड़ता है। ऑप्टिमाइज़र के अब दो लक्ष्य हैं: डेटा को फिट करना और वज़न को छोटा रखना, इसलिए यह आसान, अधिक मजबूत समाधानों पर आधारित है। वज़न में कमी प्रत्येक अद्यतन चरण पर प्रत्येक वज़न को एक छोटे अंश से कम करने का निकट से संबंधित विचार है। सादे ग्रेडिएंट डिसेंट के साथ दोनों गणितीय रूप से समतुल्य हैं, लेकिन एडम जैसे अनुकूली अनुकूलक के साथ वे भिन्न हैं, यही कारण है कि एडमडब्ल्यू को ग्रेडिएंट-आधारित अपडेट से क्षय को अलग करने और इसे सही ढंग से व्यवहार करने के लिए पेश किया गया था।
वास्तविक विश्व कार्यान्वयन
ओवरफिटिंग पर अंकुश लगाने के लिए इमेज क्लासिफायर को प्रशिक्षित करते समय PyTorch के एडमडब्ल्यू या एसजीडी ऑप्टिमाइज़र में वज़न_डेके जोड़ना
सहसंबद्ध सुविधाओं पर भविष्यवाणियों को स्थिर करने के लिए, रिज रिग्रेशन में लैम्ब्डा गुणांक को ट्यून करना, क्लासिक एल 2-दंडित रैखिक मॉडल
बड़े भाषा मॉडल पूर्व-प्रशिक्षण व्यंजन जो सीखने की दर के कार्यक्रम के साथ-साथ एक छोटे वजन में कमी (अक्सर लगभग 0.1) निर्धारित करते हैं
सीमित प्रशिक्षण स्कैन को याद रखने से एक छोटे मेडिकल-इमेजिंग मॉडल को रखने के लिए डेटा वृद्धि और ड्रॉपआउट के साथ वजन घटाने का संयोजन
वज़न क्षय और एल2 नियमितीकरण का भविष्य
बड़े भाषा मॉडल और दृष्टि ट्रांसफार्मर के लिए प्रशिक्षण व्यंजनों में वजन में कमी एक डिफ़ॉल्ट घटक बनी हुई है, और एडमडब्लू अब उनके लिए मानक अनुकूलक है। अनुसंधान इस बात पर जारी है कि क्षय सीखने की दर के शेड्यूल, सामान्यीकरण परतों और मॉडल पैमाने के साथ कैसे संपर्क करता है, क्योंकि मॉडल बढ़ने के साथ इसकी प्रभावी ताकत बदल जाती है। स्वचालित हाइपरपैरामीटर खोज और स्केलिंग-लॉ अध्ययन परिपक्व होने पर अधिक सैद्धांतिक, संभवतः प्रति-परत या शेड्यूल-जागरूक क्षय ट्यूनिंग की अपेक्षा करें।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां वजन क्षय और एल2 नियमितीकरण से मदद मिलती है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Weight Decay and L2 Regularization quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Weight Decay and L2 Regularization?
वज़न घटाना एक सरल, शक्तिशाली तकनीक है जो प्रशिक्षण के दौरान एक मॉडल के वज़न को शून्य की ओर ले जाती है, और उसे किसी एक सुविधा पर बहुत अधिक निर्भर होने से हतोत्साहित करती है। यह ओवरफिटिंग को कम करता है और गहन शिक्षण में सबसे व्यापक रूप से उपयोग किए जाने वाले नियमितकर्ताओं में से एक है।
L2 नियमितीकरण हानि फ़ंक्शन में क्या जोड़ता है?
L2 नियमितीकरण वर्ग भारों के योग में लैम्ब्डा गुना जोड़ता है, बड़े भारों को दंडित करता है और छोटे, आसान समाधानों को प्रोत्साहित करता है।
वह मुख्य समस्या क्या है जिसे वज़न घटने से रोकने में मदद मिलती है?
वजन को छोटा रखने से, वजन में कमी मॉडल को शोर को फिट करने से हतोत्साहित करती है, जिससे नए डेटा के सामान्यीकरण में सुधार होता है।
वजन में कमी मॉडल के वजन को किस दिशा में धकेलती है?
वज़न घटने से प्रत्येक अद्यतन पर वज़न शून्य की ओर सिकुड़ जाता है, यही कारण है कि इसे कभी-कभी वज़न को 'क्षय' करने के रूप में वर्णित किया जाता है।
एडमडब्ल्यू को क्यों पेश किया गया?
एडम में, L2 को हानि में मोड़ना प्रति-पैरामीटर स्केलिंग के साथ बुरी तरह इंटरैक्ट करता है; एडमडब्ल्यू इच्छित समान संकोचन को बहाल करने के लिए क्षय को अलग से लागू करता है।
सादे स्टोकेस्टिक ग्रेडिएंट डिसेंट के लिए, L2 नियमितीकरण और वजन क्षय कैसे संबंधित हैं?
सादे एसजीडी के साथ, नुकसान में एल2 जुर्माना जोड़ने से सीधे घटते वजन के समान अद्यतन उत्पन्न होता है, इसलिए दोनों बराबर हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं