राजमार्ग नेटवर्क और स्किप कनेक्शन

They solve the problem of training very deep networks, which paved the way for ResNets and modern deep learning.

कनेक्शन छोड़ने से पहले, कई परतों को स्टैक करने से नेटवर्क को प्रशिक्षित करना कठिन हो गया, बेहतर नहीं, क्योंकि ग्रेडिएंट गायब हो गए और सिग्नल खराब हो गए। 2015 में पेश किए गए राजमार्ग नेटवर्क में सीखे गए गेट जोड़े गए हैं जो नियंत्रित करते हैं कि एलएसटीएम गेटिंग से प्रेरित होकर, एक परत के इनपुट का कितना हिस्सा सीधे रूपांतरित किया जाता है। इसके तुरंत बाद, ResNets ने इसे अवशिष्ट कनेक्शन में सरलीकृत कर दिया, जहां एक परत एक अवशिष्ट फ़ंक्शन सीखती है और इसका आउटपुट एक पहचान शॉर्टकट के माध्यम से इसके इनपुट में जोड़ा जाता है। ये शॉर्टकट ग्रेडिएंट्स को पीछे की ओर प्रवाहित करने के लिए सीधे रास्ते बनाते हैं, जिससे नेटवर्क को सैकड़ों या यहां तक ​​कि एक हजार परतों तक प्रशिक्षित करना संभव हो जाता है। स्किप कनेक्शन अब यू-नेट्स, डेंसनेट्स और ट्रांसफार्मर सहित हर जगह दिखाई देते हैं।