निचोड़-और-उत्तेजना नेटवर्क
स्क्वीज़-एंड-एक्सिटेशन (एसई) ब्लॉक एक दृढ़ नेटवर्क को यह सीखने देते हैं कि प्रत्येक फीचर चैनल को कितना वजन देना है, उन्हें वैश्विक संदर्भ के आधार पर पुन: कैलिब्रेट करना है।
सिंहावलोकन
इस सस्ते ध्यान-जैसे तंत्र ने 2017 इमेजनेट प्रतियोगिता जीती और एक मानक सीएनएन बिल्डिंग ब्लॉक बन गया।
गहरा गोता
2017 में हू, शेन और सन द्वारा प्रस्तुत, एसई ब्लॉक सीएनएन पर स्पष्ट चैनल ध्यान जोड़ता है। यह दो चरणों में काम करता है. 'स्क्वीज़' प्रत्येक फीचर मैप (ऊंचाई x चौड़ाई) को एक ही संख्या में संक्षिप्त करने के लिए वैश्विक औसत पूलिंग का उपयोग करता है, जिससे प्रति चैनल एक डिस्क्रिप्टर तैयार होता है जो इसके वैश्विक सक्रियण का सारांश देता है। 'उत्तेजना' उस वेक्टर को 0 और 1 के बीच प्रति-चैनल वजन उत्पन्न करने के लिए एक टोंटी (एक ReLU फिर एक सिग्मॉइड) के साथ दो छोटी पूरी तरह से जुड़ी परतों के माध्यम से फ़ीड करती है। वे वजन मूल फीचर मानचित्रों को गुणा करते हैं, उपयोगी चैनलों को बढ़ाते हैं और अप्रासंगिक को कम करते हैं। SENet ने ILSVRC 2017 वर्गीकरण चुनौती जीती, शीर्ष -5 त्रुटि को लगभग 2.25% तक कम कर दिया। ब्लॉक केवल कुछ प्रतिशत अतिरिक्त पैरामीटर और गणना जोड़ता है, और न्यूनतम परिवर्तन के साथ ResNet, Inception, या MobileNet में स्लॉट करता है।
तकनीकी अंतर्दृष्टि
निचोड़ एक सी-लंबाई वेक्टर z उत्पन्न करता है जहां z_c चैनल c का स्थानिक औसत है। उत्तेजना s = सिग्मॉइड (W2 * ReLU (W1 * z)) की गणना करती है, जहां W1 कमी अनुपात r (आमतौर पर 16) द्वारा आयाम को कम करता है और W2 अतिरिक्त लागत को छोटा रखते हुए इसे पुनर्स्थापित करता है। आउटपुट एस द्वारा चैनल-वार स्केल किया गया इनपुट फीचर मैप है। यह स्व-गेटिंग का एक रूप है: नेटवर्क वैश्विक आँकड़ों के आधार पर निर्णय लेता है कि इस विशिष्ट इनपुट के लिए कौन से चैनल मायने रखते हैं।
सामरिक प्रभाव
लागत और बजट
वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
स्पष्ट निर्णय
तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
गुणवत्ता नियंत्रण
बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
निचोड़-और-उत्तेजना नेटवर्क का भविष्य
एसई ब्लॉक आंतरिक कुशल आर्किटेक्चर पर रहते हैं: एफिशिएंटनेट और मोबाइलनेटवी3 उन्हें अपने बिल्डिंग ब्लॉक्स में एम्बेड करते हैं। इस विचार ने ध्यान मॉड्यूल के एक परिवार को जन्म दिया, सीबीएएम ने स्थानिक ध्यान जोड़ा, ईसीए-नेट ने सस्ते 1 डी कनवल्शन के साथ बाधा को बदल दिया, और ये हल्के पुनर्गणना चालें अब पता लगाने, विभाजन और यहां तक कि कुछ दृष्टि-ट्रांसफार्मर संकर में दिखाई देती हैं। जहां भी कनवल्शन जारी रहता है, वहां चैनल का ध्यान कम लागत वाली सटीकता लीवर बने रहने की अपेक्षा करें।
वास्तविक विश्व कार्यान्वयन
SENet ने ResNeXt बैकबोन में SE ब्लॉक जोड़कर ImageNet ILSVRC 2017 वर्गीकरण चुनौती जीती
मोबाइल उपकरणों पर सटीकता बढ़ाने के लिए EfficientNet और MobileNetV3 प्रत्येक ब्लॉक में SE मॉड्यूल एम्बेड करते हैं
ऑब्जेक्ट डिटेक्टर और सेगमेंटेशन मॉडल सूचनात्मक फीचर चैनलों पर जोर देने के लिए एसई ब्लॉक डालते हैं
ईसीए-नेट और सीबीएएम सस्ते या स्थानिक रूप से जागरूक चैनल रिकैलिब्रेशन के साथ एसई विचार का विस्तार करते हैं
जोखिम और रेलिंग
एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
कार्यान्वयन रोडमैप
कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
कैप्सूल नेटवर्क
अक्सर पूछे जाने वाले प्रश्नों
स्क्वीज़-एंड-एक्सिटेशन नेटवर्क क्या है?
स्क्वीज़-एंड-एक्सिटेशन (एसई) ब्लॉक एक दृढ़ नेटवर्क को यह सीखने देते हैं कि प्रत्येक फीचर चैनल को कितना वजन देना है, उन्हें वैश्विक संदर्भ के आधार पर पुन: कैलिब्रेट करना है। इस सस्ते ध्यान-जैसे तंत्र ने 2017 इमेजनेट प्रतियोगिता जीती और एक मानक सीएनएन बिल्डिंग ब्लॉक बन गया।
एसई ब्लॉक में 'निचोड़' चरण क्या करता है?
निचोड़ वैश्विक औसत पूलिंग लागू करता है, प्रत्येक फीचर मैप को प्रति चैनल एक एकल डिस्क्रिप्टर में संक्षिप्त करता है।
'उत्तेजना' चरण आउटपुट क्या देता है?
उत्तेजना निचोड़े हुए वेक्टर को सिग्मॉइड में समाप्त होने वाली दो एफसी परतों से होकर गुजरती है, जिससे प्रति-चैनल स्केलिंग भार प्राप्त होता है।
मूल फीचर मानचित्रों पर उत्तेजना भार कैसे लागू किया जाता है?
प्रत्येक चैनल का फीचर मैप उसके सीखे गए वजन से कई गुना बढ़ जाता है, उस चैनल को बढ़ाता या दबाता है।
उत्तेजना में कमी अनुपात (अक्सर 16) के साथ टोंटी का उपयोग क्यों किया जाता है?
टोंटी सिकुड़ जाती है और फिर चैनल का आकार बहाल हो जाता है, इसलिए एसई ब्लॉक की लागत केवल कुछ प्रतिशत अधिक होती है।
2017 में SENet ने कौन सी प्रतियोगिता जीती?
SENet ने ILSVRC 2017 छवि वर्गीकरण चुनौती जीती, शीर्ष -5 त्रुटि को लगभग 2.25% तक बढ़ा दिया।