अवशिष्ट नेटवर्क
अवशिष्ट नेटवर्क (ResNets) गहरे तंत्रिका नेटवर्क हैं जो 'स्किप कनेक्शन' जोड़ते हैं जिससे परतों को पूर्ण परिवर्तनों के बजाय छोटे समायोजन सीखने मिलते हैं।
सिंहावलोकन
इस सरल ट्रिक ने नेटवर्क को सैकड़ों परतों तक प्रशिक्षित करना संभव बना दिया, जिससे छवि पहचान सटीकता में छलांग लगाई गई।
गहरा गोता
रेसनेट्स से पहले, कई परतों को स्टैक करने से विरोधाभासी रूप से नेटवर्क खराब प्रदर्शन करते थे, यहां तक कि प्रशिक्षण डेटा पर भी, एक समस्या जिसे गिरावट कहा जाता था। 2015 में, Microsoft शोधकर्ता कैमिंग हे और उनके सहयोगियों ने अवशिष्ट ब्लॉक पेश किया: परतों के ढेर से सीधे आउटपुट H(x) उत्पन्न करने के लिए कहने के बजाय, उन्होंने इसे एक अवशिष्ट F(x) = H(x) - x सीखने दिया, फिर एक शॉर्टकट के माध्यम से मूल इनपुट x को वापस जोड़ा। यदि किसी परत की आवश्यकता नहीं है, तो वह कुछ भी नहीं करना सीख सकती है (F(x) = 0)। ResNet-152 ने मानव-स्तर के अनुमानों को पछाड़ते हुए लगभग 3.6 प्रतिशत की शीर्ष-5 त्रुटि के साथ 2015 इमेजनेट प्रतियोगिता जीती, और इसकी वास्तुकला पहचान, विभाजन और चिकित्सा इमेजिंग के लिए एक मूलभूत रीढ़ बन गई।
तकनीकी अंतर्दृष्टि
स्किप कनेक्शन प्रत्येक ब्लॉक के कार्य को y = F(x) + x में बदल देता है। बैकप्रॉपैगेशन के दौरान, ग्रेडिएंट पहचान शॉर्टकट के माध्यम से अपरिवर्तित प्रवाहित होता है, इसलिए यह सैकड़ों परतों में भी शून्य के करीब गायब नहीं हो सकता है। यह गहरे ढेरों को प्रशिक्षित करने योग्य रखता है। पहचान शॉर्टकट कोई अतिरिक्त पैरामीटर नहीं जोड़ते; केवल जब इनपुट और आउटपुट आकार भिन्न होते हैं तो एक छोटा प्रक्षेपण (1x1 कनवल्शन) जोड़ने से पहले आयामों को समायोजित करता है।
सामरिक प्रभाव
गति और पैमाना
विज़ुअल एआई बड़े पैमाने पर निरीक्षण, पता लगाने और टैगिंग कार्यों को स्वचालित कर सकता है।
विकल्प बनाएं
रचनात्मक टीमें कम मैन्युअल संशोधनों के साथ तेजी से अवधारणाओं का प्रोटोटाइप बना सकती हैं।
टीम और वर्कफ़्लो
संचालन छवि और वीडियो संकेतों का उपयोग कर सकते हैं जिन्हें संसाधित करना पहले कठिन था।
अवशिष्ट नेटवर्क का भविष्य
अवशिष्ट कनेक्शन अब लगभग सार्वभौमिक हैं: ट्रांसफार्मर, प्रसार मॉडल और बड़े भाषा मॉडल सभी बहुत गहरे ढेर के प्रशिक्षण को स्थिर करने के लिए उनका उपयोग करते हैं। प्री-एक्टिवेशन ResNets, ResNeXt के समूहीकृत पथ और सामान्यीकरण-मुक्त प्रशिक्षण के साथ अवशिष्ट विचारों के संयोजन जैसे वेरिएंट पर शोध जारी है। उम्मीद करें कि कोर स्किप-कनेक्शन सिद्धांत एक डिफ़ॉल्ट बिल्डिंग ब्लॉक के रूप में बना रहेगा, भले ही आसपास के आर्किटेक्चर शुद्ध कनवल्शन से ध्यान और हाइब्रिड डिज़ाइन की ओर स्थानांतरित हो जाएं।
वास्तविक विश्व कार्यान्वयन
इमेजनेट वर्गीकरण बैकबोन (रेसनेट-50, रेसनेट-101) का उपयोग ट्रांसफर लर्निंग के लिए पूर्व-प्रशिक्षित फीचर एक्सट्रैक्टर्स के रूप में किया जाता है
रेसनेट-आधारित एन्कोडर्स का उपयोग करके रेडियोलॉजी और पैथोलॉजी छवियों में ट्यूमर और घाव का पता लगाना
फास्टर आर-सीएनएन और मास्क आर-सीएनएन जैसे ऑब्जेक्ट डिटेक्शन और इंस्टेंस सेगमेंटेशन फ्रेमवर्क जो रेसनेट बैकबोन का उपयोग करते हैं
स्व-ड्राइविंग धारणा पाइपलाइनें जो पैदल चलने वालों, वाहनों और कैमरा फ्रेम से संकेतों को वर्गीकृत करती हैं
जोखिम और रेलिंग
यदि उत्पत्ति अस्पष्ट है तो छवि अधिकार और सहमति कानूनी जोखिम बन सकते हैं।
मॉडल का प्रदर्शन प्रकाश व्यवस्था, जनसांख्यिकी और वातावरण के अनुसार भिन्न हो सकता है।
जब तक आत्मविश्वास की सीमा की निगरानी नहीं की जाती, तब तक झूठी सकारात्मक बातों पर ध्यान नहीं दिया जा सकता।
कार्यान्वयन रोडमैप
सटीकता, रिकॉल और त्रुटि लागत के लिए स्वीकृति मानदंड परिभाषित करें।
वास्तविक उत्पादन स्थितियों से मेल खाने वाले डेटा के साथ परीक्षण करें।
कम-आत्मविश्वास या उच्च-प्रभाव वाली भविष्यवाणियों के लिए मानवीय समीक्षा जोड़ें।
कैमरा या डेटासेट में बदलाव के बाद मॉडल बहाव को ट्रैक करें और पुनः सत्यापित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
फ़ीचर पिरामिड नेटवर्क
अक्सर पूछे जाने वाले प्रश्नों
अवशिष्ट नेटवर्क क्या है?
अवशिष्ट नेटवर्क (ResNets) गहरे तंत्रिका नेटवर्क हैं जो 'स्किप कनेक्शन' जोड़ते हैं जिससे परतों को पूर्ण परिवर्तनों के बजाय छोटे समायोजन सीखने मिलते हैं। इस सरल ट्रिक ने नेटवर्क को सैकड़ों परतों तक प्रशिक्षित करना संभव बना दिया, जिससे छवि पहचान सटीकता में छलांग लगाई गई।
अवशिष्ट कनेक्शन ने विशेष रूप से किस समस्या का समाधान किया?
ResNets से पहले, अधिक परतें जोड़ने से प्रशिक्षण डेटा पर भी सटीकता कम हो गई थी। परतों को अनुकूलित करना आसान बनाकर स्किप कनेक्शन ने इसे ठीक कर दिया।
एक अवशिष्ट ब्लॉक वास्तव में अपने आउटपुट के रूप में क्या गणना करता है?
एक अवशिष्ट ब्लॉक y = F(x) + x को आउटपुट करता है, एक स्किप कनेक्शन के माध्यम से इनपुट में सीखे गए अवशिष्ट को जोड़ता है।
प्रशिक्षण के दौरान स्किप कनेक्शन ग्रेडिएंट्स की मदद क्यों करते हैं?
पहचान शॉर्टकट ग्रेडिएंट्स को बिना किसी बदलाव के पीछे की ओर प्रवाहित करने के लिए एक सीधा रास्ता प्रदान करता है, जिससे बहुत गहरे स्टैक में लुप्त-ग्रेडिएंट समस्या को रोका जा सकता है।
2015 के विजेता ResNet मॉडल में लगभग कितनी परतें थीं?
152 परतों के साथ ResNet-152 ने 2015 इमेजनेट प्रतियोगिता जीती, यह प्रदर्शित करते हुए कि बहुत गहरे नेटवर्क को अब सफलतापूर्वक प्रशिक्षित किया जा सकता है।
यदि किसी अवशिष्ट ब्लॉक की परतें F(x) = 0 सीखती हैं, तो ब्लॉक क्या करता है?
जब F(x) = 0, आउटपुट सिर्फ x होता है, तो ब्लॉक एक पहचान मैपिंग बन जाता है। यदि आवश्यकता न हो तो यह अतिरिक्त परतों को हानिरहित बना देता है।