ड्रॉपआउट और स्टोकेस्टिक नियमितीकरण

ड्रॉपआउट एक नियमितीकरण चाल है जो प्रत्येक प्रशिक्षण चरण के दौरान न्यूरॉन्स के एक अंश को यादृच्छिक रूप से बंद कर देती है, जिससे नेटवर्क को अनावश्यक, मजबूत प्रतिनिधित्व बनाने के लिए मजबूर किया जाता है। गहन शिक्षण में ओवरफिटिंग से लड़ने के लिए यह सबसे प्रभावशाली तकनीकों में से एक बन गई है।

प्रशिक्षण के दौरान ड्रॉपआउट बेतरतीब ढंग से प्रत्येक न्यूरॉन को प्रायिकता पी के साथ शून्य कर देता है, इसलिए प्रत्येक चरण में एक अलग पतले उप-नेटवर्क का उपयोग किया जाता है।

इकाइयों को बेतरतीब ढंग से हटाने से, ड्रॉपआउट न्यूरॉन्स को नाजुक साझेदारी बनाने से रोकता है जो केवल प्रशिक्षण डेटा पर काम करते हैं, मजबूती में सुधार करते हैं।

अनुमान के अनुसार पूरा नेटवर्क ड्रॉपआउट अक्षम के साथ चलता है, और सक्रियणों को स्केल किया जाता है ताकि अपेक्षित आउटपुट प्रशिक्षण वितरण से मेल खा सकें।

पी = 0.5 के साथ प्रत्येक न्यूरॉन के शून्य होने की 50 प्रतिशत संभावना होती है, इसलिए औसतन प्रति फॉरवर्ड पास में लगभग आधे गिरा दिए जाते हैं।

प्रत्येक चरण में एक अलग उप-नेटवर्क का नमूना लेने से साझा-वजन वाले नेटवर्क की एक घातीय संख्या के औसत का अनुमान लगाया जाता है, जो सस्ते संयोजन का एक रूप है।