Fun pọ-ati-Excitation Awọn nẹtiwọki
Awọn bulọọki Squeeze-ati-Excitation (SE) jẹ ki nẹtiwọọki convolution kan kọ ẹkọ bi o ṣe le ṣe iwuwo ikanni ẹya kọọkan, ṣe atunṣe wọn da lori ipo agbaye.
Akopọ
Yi poku akiyesi-bi siseto gba awọn 2017 ImageNet idije ati ki o di a boṣewa CNN ile Àkọsílẹ.
Jin Dive
Ti ṣafihan nipasẹ Hu, Shen, ati Sun ni ọdun 2017, bulọọki SE ṣafikun akiyesi ikanni ti o han gbangba si CNN kan. O ṣiṣẹ ni awọn igbesẹ meji. 'Funmi' naa nlo ikojọpọ apapọ agbaye lati ṣubu maapu ẹya kọọkan (giga x iwọn) sinu nọmba ẹyọkan, ti n ṣe apejuwe ọkan fun ikanni ti o ṣe akopọ imuṣiṣẹ agbaye rẹ. Awọn 'imurasilẹ' awọn ifunni ti o fekito nipasẹ kekere meji ni kikun ti sopọ fẹlẹfẹlẹ pẹlu a bottleneck (a ReLU ki o si a sigmoid) lati gbe awọn kan fun-ikanni àdánù laarin 0 ati 1. Awon òṣuwọn isodipupo awọn atilẹba ẹya-ara maapu, amplifying wulo awọn ikanni ati damping ko ṣe pataki. SENet ṣẹgun ipenija isọdi ILSVRC 2017, gige aṣiṣe oke-5 si bii 2.25%. Bulọọki naa ṣafikun awọn aye afikun ida ogorun diẹ ati iṣiro, ati awọn iho sinu ResNet, Ibẹrẹ, tabi MobileNet pẹlu iyipada kekere.
Imọ-imọ-ẹrọ
Fun pọ ṣe agbejade fekito gigun-C kan nibiti z_c jẹ aropin aaye ti ikanni c. Awọn iṣiro igbadun s = sigmoid (W2 * ReLU (W1 * z)), nibiti W1 dinku iwọn nipasẹ ipin idinku r (16 ti o wọpọ) ati W2 ṣe atunṣe rẹ, ti o tọju iye owo ti a fi kun. Ijade naa jẹ ẹya-ara titẹ sii maapu ti iwọn ikanni-ọlọgbọn nipasẹ s. O jẹ fọọmu ti ara-gating: nẹtiwọọki pinnu, lati awọn iṣiro agbaye, awọn ikanni wo ni pataki fun titẹ sii kan pato.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Awọn Nẹtiwọọki fun pọ-ati-imura
Awọn bulọọki SE n gbe inu awọn ile ayaworan daradara: EfficientNet ati MobileNetV3 fi wọn sinu awọn bulọọki ile wọn. Awọn agutan ti ọjẹlẹ kan ebi ti akiyesi modulu, CBAM afikun aye akiyesi, ECA-Net rọpo awọn bottleneck pẹlu a poku 1D convolution, ati awọn wọnyi lightweight recalibration ẹtan han bayi ni erin, ipin, ati paapa diẹ ninu awọn iran-transformer hybrids. Reti ifojusọna ikanni lati duro lefa deede iye owo kekere nibikibi ti awọn iyipada ba duro.
Real-World imuse
SENet gba ipenija isọdi PipaNet ILSVRC 2017 nipa fifi awọn bulọọki SE kun si ẹhin ResNeXt
EfficientNet ati MobileNetV3 ṣe ifibọ awọn modulu SE ni gbogbo bulọọki lati ṣe alekun deede lori awọn ẹrọ alagbeka
Awọn aṣawari nkan ati awọn awoṣe ipin fi sii awọn bulọọki SE lati tẹnumọ awọn ikanni ẹya alaye
ECA-Net ati CBAM fa ero SE naa pọ pẹlu idinku tabi isọdọtun ikanni ti o mọ aye
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn nẹtiwọki Capsule
Awọn ibeere ti a beere nigbagbogbo
Kini awọn nẹtiwọọki Squeeze-and-Excitation?
Awọn bulọọki Squeeze-ati-Excitation (SE) jẹ ki nẹtiwọọki convolution kan kọ ẹkọ bi o ṣe le ṣe iwuwo ikanni ẹya kọọkan, ṣe atunṣe wọn da lori ipo agbaye. Ilana ifarabalẹ olowo poku gba idije ImageNet 2017 ati pe o di bulọọki ile CNN boṣewa kan.
Kini igbesẹ 'fun pọ' ni bulọọki SE kan ṣe?
Fun pọ ni lilo apapọ apapọ apapọ agbaye, o ṣubu maapu ẹya kọọkan sinu olutọwe ẹyọkan fun ikanni kan.
Kini iṣejade igbesẹ 'imurasilẹ'?
Idunnu n kọja fekito ti a fun pọ nipasẹ awọn fẹlẹfẹlẹ FC meji ti o pari ni sigmoid kan, ti nso awọn iwuwo iwọn-ikanni kọọkan.
Bawo ni a ṣe lo awọn iwuwo iwuri si awọn maapu ẹya atilẹba?
Maapu ẹya ara ẹrọ ikanni kọọkan jẹ isodipupo nipasẹ iwuwo ikẹkọ rẹ, imudara tabi didi ikanni yẹn.
Kilode ti igbadun naa nlo igo kan pẹlu ipin idinku (nigbagbogbo 16)?
Igo igo naa dinku lẹhinna tun mu iwọn ikanni pada, nitorinaa idinaduro SE jẹ idiyele diẹ ninu ogorun afikun.
Idije wo ni SENet ṣẹgun ni ọdun 2017?
SENet ṣẹgun ipenija isọdi aworan ILSVRC 2017, titari aṣiṣe oke-5 si aijọju 2.25%.