شبكات الضغط والإثارة
تسمح كتل الضغط والإثارة (SE) للشبكة التلافيفية بمعرفة مقدار وزن كل قناة مميزة، وإعادة معايرتها بناءً على السياق العالمي.
نظرة عامة
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
الغوص العميق
تضيف كتلة SE، التي قدمها Hu وShen وSun في عام 2017، اهتمامًا واضحًا بالقناة إلى شبكة CNN. يعمل في خطوتين. يستخدم "الضغط" تجميع المتوسط العالمي لطي كل خريطة ميزات (الارتفاع × العرض) إلى رقم واحد، مما يؤدي إلى إنتاج واصف واحد لكل قناة يلخص تنشيطها العالمي. يغذي "الإثارة" هذا المتجه من خلال طبقتين صغيرتين متصلتين بالكامل مع عنق الزجاجة (ReLU ثم السيني) لإنتاج وزن لكل قناة بين 0 و 1. تضاعف هذه الأوزان خرائط الميزات الأصلية، مما يؤدي إلى تضخيم القنوات المفيدة وتخميد القنوات غير ذات الصلة. فازت SENet بتحدي تصنيف ILSVRC 2017، مما أدى إلى خفض نسبة الأخطاء الخمسة الأولى إلى حوالي 2.25%. تضيف الكتلة نسبة قليلة فقط من المعلمات الإضافية والحوسبة، وتفتح في ResNet، أو Inception، أو MobileNet مع الحد الأدنى من التغيير.
البصيرة الفنية
ينتج عن الضغط متجه بطول C z حيث z_c هو المتوسط المكاني للقناة c. يحسب الإثارة s = sigmoid(W2 * ReLU(W1 * z))، حيث يقلل W1 البعد بنسبة تخفيض r (عادةً 16) ويستعيده W2، مما يجعل التكلفة المضافة ضئيلة. الإخراج هو خريطة ميزة الإدخال التي تم تغيير حجمها حسب القناة بمقدار s. إنه شكل من أشكال البوابات الذاتية: تقرر الشبكة، من خلال الإحصائيات العالمية، القنوات المهمة لهذا المدخل المحدد.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل شبكات الضغط والإثارة
تعمل كتل SE داخل بنيات فعالة: حيث تقوم EfficientNet وMobileNetV3 بتضمينها في كتل البناء الخاصة بها. لقد زرعت هذه الفكرة عائلة من وحدات الانتباه، ويضيف CBAM الاهتمام المكاني، وتستبدل ECA-Net عنق الزجاجة بالتفاف رخيص أحادي الأبعاد، وتظهر الآن حيل إعادة المعايرة خفيفة الوزن هذه في الكشف والتجزئة وحتى بعض الهجينة محولة الرؤية. توقع أن يظل اهتمام القناة بمثابة أداة دقة منخفضة التكلفة أينما استمرت التلافيف.
التنفيذ في العالم الحقيقي
فازت SENet بتحدي تصنيف ImageNet ILSVRC 2017 عن طريق إضافة كتل SE إلى العمود الفقري لـ ResNeXt
تقوم EfficientNet وMobileNetV3 بتضمين وحدات SE في كل كتلة لتعزيز الدقة على الأجهزة المحمولة
تقوم أجهزة الكشف عن الكائنات ونماذج التجزئة بإدخال كتل SE للتأكيد على قنوات الميزات الإعلامية
تقوم ECA-Net وCBAM بتوسيع فكرة SE من خلال إعادة معايرة القنوات الأرخص أو المكانية
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
شبكات الكبسولة
الأسئلة المتداولة
What is Squeeze-and-Excitation Networks?
تسمح كتل الضغط والإثارة (SE) للشبكة التلافيفية بمعرفة مقدار وزن كل قناة مميزة، وإعادة معايرتها بناءً على السياق العالمي. فازت هذه الآلية الرخيصة التي تشبه الاهتمام بمسابقة ImageNet لعام 2017 وأصبحت لبنة أساسية في شبكة CNN.
ماذا تفعل خطوة "الضغط" في كتلة SE؟
يطبق الضغط تجميع المتوسط العالمي، مما يؤدي إلى طي كل خريطة ميزات في واصف واحد لكل قناة.
ما الذي تنتجه خطوة "الإثارة"؟
يمرر الإثارة المتجه المضغوط من خلال طبقتين من FC تنتهي في شكل سيني، مما يؤدي إلى أوزان متدرجة لكل قناة.
كيف يتم تطبيق أوزان الإثارة على خرائط الميزات الأصلية؟
يتم ضرب خريطة ميزات كل قناة في الوزن الذي تم تعلمه، مما يؤدي إلى تضخيم تلك القناة أو قمعها.
لماذا يستخدم الإثارة عنق الزجاجة بنسبة تخفيض (غالبًا 16)؟
يتقلص عنق الزجاجة ثم يستعيد بُعد القناة، وبالتالي فإن كتلة SE لا تكلف سوى نسبة قليلة إضافية.
ما هي المنافسة التي فازت بها SENet في عام 2017؟
فازت SENet بتحدي تصنيف الصور لعام 2017 من ILSVRC، مما أدى إلى ارتفاع نسبة الخطأ الخمسة الأولى إلى 2.25% تقريبًا.