Squeeze-and-Excitation Networks
A Squeeze-and-Excitation (SE) blokkok lehetővé teszik a konvolúciós hálózat számára, hogy megtanulja, mennyit kell súlyozni az egyes jellemzőcsatornákat, és a globális kontextus alapján újrakalibrálja azokat.
Áttekintés
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
Mély merülés
A Hu, Shen és Sun által 2017-ben bevezetett SE blokk kifejezett csatornafigyelést ad a CNN-nek. Két lépésben működik. A „squeeze” globális átlagos pooling segítségével összecsukja az egyes jellemzőtérképeket (magasság x szélesség) egyetlen számmá, és csatornánként egy leírót állít elő, amely összegzi a globális aktiválást. A „gerjesztés” azt a vektort táplálja át két kis, teljesen összekapcsolt rétegen keresztül, amelyek szűk keresztmetszetet tartalmaznak (egy ReLU, majd szigmoid), így 0 és 1 közötti csatornánkénti súlyt állítanak elő. Ezek a súlyok megsokszorozzák az eredeti jellemzőtérképeket, felerősítve a hasznos csatornákat, és csillapítva a nem relevánsakat. A SENet megnyerte az ILSVRC 2017 besorolási kihívását, és a top-5 hibát körülbelül 2,25%-ra csökkentette. A blokk csak néhány százalékos plusz paramétert és számítást ad hozzá, és minimális változtatással illeszkedik a ResNet, az Inception vagy a MobileNetbe.
Technikai betekintés
A squeeze egy C-hosszúságú z vektort hoz létre, ahol z_c a c csatorna térbeli átlaga. A gerjesztés kiszámítja az s = szigmoid(W2 * ReLU(W1 * z)) értéket, ahol W1 csökkenti a dimenziót egy r csökkentési aránnyal (általában 16), a W2 pedig visszaállítja, kicsiben tartva a hozzáadott költséget. A kimenet a bemeneti tulajdonságleképezés s-vel csatornánként skálázva. Ez az önkapuzás egy formája: a hálózat a globális statisztikák alapján dönti el, hogy mely csatornák számítanak ennek a konkrét bemenetnek.
Stratégiai hatás
Költség és költségvetés
Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
Tisztább döntések
A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
Minőségellenőrzés
A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.
A Squeeze-and-Excitation hálózatok jövője
Az SE blokkok hatékony architektúrákon belül élnek: az EfficientNet és a MobileNetV3 beágyazza őket építőelemeikbe. Az ötlet egy figyelemfelkeltő modul családot szült, a CBAM hozzáadja a térbeli figyelmet, az ECA-Net a szűk keresztmetszetet egy olcsó 1D konvolúcióval helyettesíti, és ezek a könnyű újrakalibrációs trükkök most megjelennek az észlelésben, a szegmentálásban és még néhány látás-transzformátor hibridben is. Várható, hogy a csatornafigyelem továbbra is alacsony költségű pontossági kar marad, ahol a kanyarodás továbbra is fennáll.
Valós megvalósítás
A SENet megnyerte az ImageNet ILSVRC 2017 osztályozási kihívását azzal, hogy SE blokkokat adott a ResNeXt gerinchálózathoz
Az EfficientNet és a MobileNetV3 minden blokkba SE-modulokat ágyaz be a mobileszközök pontosságának növelése érdekében
Az objektumdetektorok és a szegmentáló modellek SE blokkokat helyeznek be, hogy kiemeljék az informatív jellemzőcsatornákat
Az ECA-Net és a CBAM olcsóbb vagy térben érzékeny csatorna-újrakalibrációval bővíti az SE ötletet
Kockázatok és védőkorlátok
Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.
Végrehajtási ütemterv
Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
Benchmark reális terhelési és adatviszonyok mellett.
Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.
Folytassa a felfedezést
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Következő útmutató
Kapszula hálózatok
Gyakran ismételt kérdések
What is Squeeze-and-Excitation Networks?
A Squeeze-and-Excitation (SE) blokkok lehetővé teszik a konvolúciós hálózat számára, hogy megtanulja, mennyit kell súlyozni az egyes jellemzőcsatornákat, és a globális kontextus alapján újrakalibrálja azokat. Ez az olcsó, figyelemre méltó mechanizmus megnyerte a 2017-es ImageNet versenyt, és a CNN szabványos építőköve lett.
Mit csinál a „squeeze” lépés egy SE blokkban?
A squeeze a globális átlagos készletezést alkalmazza, és az egyes jellemzőtérképeket csatornánként egyetlen leíróvá összecsukja.
Mit ad ki a „gerjesztési” lépés?
A gerjesztés a kinyomott vektort két szigmoidban végződő FC-rétegen vezeti át, csatornánkénti skálázási súlyokat eredményezve.
Hogyan alkalmazzák a gerjesztési súlyokat az eredeti jellemzőtérképekre?
Minden csatorna jellemzőtérképét megszorozzák a tanult súllyal, erősítve vagy elnyomva az adott csatornát.
Miért használ a gerjesztés szűk keresztmetszetet redukciós aránnyal (gyakran 16)?
A szűk keresztmetszet visszaállítja a csatorna méretét, így az SE blokk csak néhány százalék plusz költséget jelent.
Milyen versenyt nyert a SENet 2017-ben?
A SENet megnyerte az ILSVRC 2017 képbesorolási kihívását, és az 5 legjobb hibáját nagyjából 2,25%-ra növelte.