Jaringan Pemerasan dan Eksitasi
Blok Squeeze-and-Exitation (SE) memungkinkan jaringan konvolusional mempelajari seberapa besar bobot setiap saluran fitur, dan mengkalibrasi ulang saluran tersebut berdasarkan konteks global.
Ikhtisar
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
Menyelam Lebih Dalam
Diperkenalkan oleh Hu, Shen, dan Sun pada tahun 2017, blok SE menambahkan perhatian saluran eksplisit ke CNN. Ini bekerja dalam dua langkah. 'Pemerasan' ini menggunakan pengumpulan rata-rata global untuk menciutkan setiap peta fitur (tinggi x lebar) menjadi satu angka, menghasilkan satu deskriptor per saluran yang merangkum aktivasi globalnya. 'Kegembiraan' memasukkan vektor tersebut melalui dua lapisan kecil yang terhubung sepenuhnya dengan hambatan (ReLU lalu sigmoid) untuk menghasilkan bobot per saluran antara 0 dan 1. Bobot tersebut melipatgandakan peta fitur asli, memperkuat saluran yang berguna dan meredam saluran yang tidak relevan. SENet memenangkan tantangan klasifikasi ILSVRC 2017, memotong kesalahan 5 teratas menjadi sekitar 2,25%. Blok ini hanya menambahkan beberapa persen parameter dan komputasi tambahan, serta dimasukkan ke dalam ResNet, Inception, atau MobileNet dengan sedikit perubahan.
Wawasan Teknis
Pemerasan tersebut menghasilkan vektor sepanjang C z dimana z_c adalah rata-rata spasial saluran c. Eksitasi menghitung s = sigmoid(W2 * ReLU(W1 * z)), di mana W1 mereduksi dimensi dengan rasio reduksi r (biasanya 16) dan W2 memulihkannya, menjaga biaya tambahan tetap kecil. Keluarannya adalah peta fitur masukan yang diskalakan berdasarkan saluran sebanyak s. Ini adalah bentuk self-gating: jaringan memutuskan, berdasarkan statistik global, saluran mana yang penting untuk masukan spesifik ini.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Jaringan Pemerasan dan Eksitasi
Blok SE hidup di dalam arsitektur yang efisien: EfficientNet dan MobileNetV3 menyematkannya di blok penyusunnya. Ide ini melahirkan rangkaian modul perhatian, CBAM menambahkan perhatian spasial, ECA-Net menggantikan hambatan dengan konvolusi 1D yang murah, dan trik kalibrasi ulang ringan ini sekarang muncul dalam deteksi, segmentasi, dan bahkan beberapa hibrida transformator visi. Harapkan perhatian saluran untuk tetap menjadi pengungkit akurasi berbiaya rendah di mana pun konvolusi tetap ada.
Implementasi Dunia Nyata
SENet memenangkan tantangan klasifikasi ImageNet ILSVRC 2017 dengan menambahkan blok SE ke tulang punggung ResNeXt
EfficientNet dan MobileNetV3 menyematkan modul SE di setiap blok untuk meningkatkan akurasi pada perangkat seluler
Detektor objek dan model segmentasi menyisipkan blok SE untuk menekankan saluran fitur informatif
ECA-Net dan CBAM memperluas gagasan SE dengan kalibrasi ulang saluran yang lebih murah atau sadar spasial
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Jaringan Kapsul
Pertanyaan yang sering diajukan
What is Squeeze-and-Excitation Networks?
Blok Squeeze-and-Exitation (SE) memungkinkan jaringan konvolusional mempelajari seberapa besar bobot setiap saluran fitur, dan mengkalibrasi ulang saluran tersebut berdasarkan konteks global. Mekanisme seperti perhatian yang murah ini memenangkan kompetisi ImageNet 2017 dan menjadi standar CNN.
Apa yang dilakukan langkah 'pemerasan' di blok SE?
Pemerasan ini menerapkan pengumpulan rata-rata global, dengan mengelompokkan setiap peta fitur ke dalam satu deskriptor per saluran.
Apa yang dihasilkan oleh langkah 'eksitasi'?
Eksitasi melewati vektor yang diperas melalui dua lapisan FC yang berakhir dengan sigmoid, menghasilkan bobot penskalaan per saluran.
Bagaimana bobot eksitasi diterapkan pada peta fitur asli?
Peta fitur setiap saluran dikalikan dengan bobot yang dipelajari, memperkuat atau menekan saluran tersebut.
Mengapa eksitasi menggunakan hambatan dengan rasio reduksi (seringkali 16)?
Penyusutan kemacetan kemudian mengembalikan dimensi saluran, sehingga blok SE hanya memerlukan biaya tambahan beberapa persen.
Kompetisi apa yang dimenangkan SENet pada tahun 2017?
SENet memenangkan tantangan klasifikasi gambar ILSVRC 2017, meningkatkan kesalahan 5 teratas menjadi sekitar 2,25%.