वज़न आरंभीकरण

Good initialization is the difference between fast convergence and a model that never learns.

प्रशिक्षण से पहले, प्रत्येक वजन को एक प्रारंभिक मूल्य की आवश्यकता होती है। उन सभी को शून्य पर सेट करना घातक है: समान भार समान ग्रेडिएंट उत्पन्न करते हैं, इसलिए न्यूरॉन्स कभी भी अंतर नहीं करते हैं - यह समरूपता-तोड़ने वाली समस्या है। यादृच्छिक आरंभीकरण समरूपता को तोड़ता है, लेकिन पैमाना बहुत मायने रखता है। बहुत बड़ा और सक्रियण और ग्रेडिएंट फट जाते हैं; बहुत छोटे और वे गायब हो जाते हैं। सैद्धांतिक योजनाएं परतों के बीच सिग्नल भिन्नता को लगभग स्थिर रखने के लिए परत के आकार के आधार पर भिन्नता का चयन करती हैं। ज़ेवियर (ग्लोरोट) इनिशियलाइज़ेशन स्केल इनपुट प्लस आउटपुट इकाइयों की संख्या के आधार पर भिन्न होता है और टैन और सिग्मॉइड नेटवर्क के लिए उपयुक्त होता है। वह (काइमिंग) आरंभीकरण को इनपुट की संख्या के आधार पर मापता है और ReLU के आधे इनपुट को त्याग देता है, जिससे यह ReLU-आधारित डीप नेट और CNN के लिए मानक बन जाता है। अच्छा आरंभीकरण प्रारंभिक प्रशिक्षण को तब तक स्थिर रखता है जब तक कि सामान्यीकरण और अनुकूली अनुकूलक काम नहीं कर लेते।