बुनियादी गाइड
मोमेंटम के साथ स्टोकेस्टिक ग्रेडिएंट डिसेंट
मोमेंटम ग्रेडिएंट डिसेंट का एक बदलाव है जो पिछले ग्रेडिएंट्स के रनिंग औसत को जमा करता है, जिससे अनुकूलन घाटियों और नम दोलनों के माध्यम से तेजी से आगे बढ़ता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
It is one of the most widely used training tricks in deep learning.
गहरा गोता
प्लेन स्टोकेस्टिक ग्रेडिएंट डिसेंट (एसजीडी) वर्तमान मिनी-बैच ग्रेडिएंट के विपरीत दिशा में कदम बढ़ाकर मापदंडों को अपडेट करता है। लंबी, संकरी खड्डों जैसे आकार के परिदृश्यों में, यह कोमल फर्श पर रेंगते हुए खड़ी दीवारों पर ज़िग-ज़ैग करता है। पोलीक द्वारा और बाद में रुमेलहार्ट और सहकर्मियों द्वारा लोकप्रिय मोमेंटम, एक वेग वेक्टर को बनाए रखते हुए इसे ठीक करता है: प्रत्येक चरण पिछले वेग के एक अंश (संवेग गुणांक, अक्सर 0.9) के साथ नए ग्रेडिएंट को मिश्रित करता है। सुसंगत ढाल दिशाएँ सुदृढ़ और तेज होती हैं, जबकि दोलन करने वाले घटक आंशिक रूप से रद्द हो जाते हैं। भौतिक सादृश्य एक भारी गेंद है जो नीचे की ओर लुढ़कती है: यह स्थिर दिशाओं में गति बनाती है और शोर वाले धक्कों से कम विक्षेपित होती है, जो वेनिला एसजीडी की तुलना में तेज़, चिकनी अभिसरण देती है।
वास्तविक विश्व कार्यान्वयन
ResNet जैसे गहरे दृढ़ नेटवर्क का प्रशिक्षण, जहां 0.9 गति के साथ SGD एक मानक नुस्खा है।
छोटे मिनी-बैचों का उपयोग करते समय शोर ग्रेडिएंट अनुमान को सुचारू करना।
समतल क्षेत्रों के माध्यम से वेग लेकर उथले स्थानीय पठारों से बचना।
एडम और आरएमएसप्रॉप वेरिएंट जैसे अनुकूली अनुकूलक के अंदर गति शब्द के रूप में कार्य करना।
मोमेंटम के साथ स्टोकेस्टिक ग्रेडिएंट डिसेंट का भविष्य
गति मूलभूत बनी हुई है: एडम और इसके वेरिएंट जैसे अनुकूली अनुकूलक एक गति-शैली के पहले-पल अनुमान को एम्बेड करते हैं, और गति के साथ एसजीडी अभी भी एक मजबूत आधार रेखा है जो अक्सर बड़े दृष्टि मॉडल पर अनुकूली तरीकों से बेहतर सामान्यीकरण करती है। गति निर्धारण, डिकौपल्ड वजन क्षय, और बहुत बड़े बैच प्रशिक्षण के साथ इसकी बातचीत पर अनुसंधान जारी है। उम्मीद है कि गति एक मुख्य घटक बनी रहेगी क्योंकि बड़े मॉडलों के लिए ऑप्टिमाइज़र विकसित हो रहे हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां मोमेंटम के साथ स्टोचैस्टिक ग्रेडिएंट डिसेंट मदद करता है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Stochastic Gradient Descent with Momentum quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Stochastic Gradient Descent with Momentum?
मोमेंटम ग्रेडिएंट डिसेंट का एक बदलाव है जो पिछले ग्रेडिएंट्स के रनिंग औसत को जमा करता है, जिससे अनुकूलन घाटियों और नम दोलनों के माध्यम से तेजी से आगे बढ़ता है। यह गहन शिक्षण में सबसे व्यापक रूप से उपयोग की जाने वाली प्रशिक्षण युक्तियों में से एक है।
प्रशिक्षण के दौरान संवेग शब्द क्या एकत्रित होता है?
मोमेंटम एक वेग वेक्टर को बनाए रखता है जो हाल के ग्रेडिएंट्स का एक घातीय रूप से भारित चलती औसत है, जो अद्यतन दिशा को सुचारू करता है।
एक लंबी, संकरी घाटी में, सादे एसजीडी को कौन सी समस्या आती है जिसे गति ठीक करने में मदद करती है?
गति के बिना, SGD खड्ड की खड़ी दिशाओं में दोलन करता है। मोमेंटम इन दोलनों को रद्द कर देता है और कोमल घाटी तल के साथ गति करता है।
संवेग का वर्णन करने के लिए किस भौतिक सादृश्य का सबसे अधिक उपयोग किया जाता है?
मोमेंटम की तुलना एक भारी गेंद से की जाती है जो लगातार दिशाओं में गति बनाती है और शोर वाले धक्कों से विक्षेपण का प्रतिरोध करती है।
जब बीटा = 0.9 होता है तो मोटे तौर पर संवेग एक सुसंगत दिशा में प्रभावी कदम को कितना बढ़ाता है?
प्रवर्धन कारक लगभग 1/(1 - बीटा) है, और 1/(1 - 0.9) = 10 है, इसलिए सुसंगत दिशाएँ लगभग दस गुना बढ़ जाती हैं।
कौन सा आधुनिक अनुकूलक गति-शैली प्रथम-क्षण अनुमान को शामिल करता है?
एडम अनुकूली स्केलिंग के लिए ग्रेडिएंट्स के संवेग-जैसे पहले-पल (माध्य) अनुमान को दूसरे-पल (विचरण) अनुमान के साथ जोड़ता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं