Sieci ściskania i wzbudzania
Bloki Squeeze-and-Excitation (SE) pozwalają sieci splotowej dowiedzieć się, ile ważyć każdy kanał funkcji, ponownie kalibrując je w oparciu o kontekst globalny.
Przegląd
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
Głębokie nurkowanie
Wprowadzony przez Hu, Shen i Sun w 2017 r. blok SE zwraca uwagę kanału na CNN. Działa to w dwóch etapach. „Ściskanie” wykorzystuje globalne łączenie średnich w celu zwinięcia każdej mapy obiektów (wysokość x szerokość) do pojedynczej liczby, tworząc jeden deskryptor na kanał, który podsumowuje jego globalną aktywację. „wzbudzenie” przepuszcza ten wektor przez dwie małe, w pełni połączone warstwy z wąskim gardłem (ReLU, a następnie sigmoidę), aby uzyskać wagę na kanał od 0 do 1. Wagi te mnożą oryginalne mapy cech, wzmacniając użyteczne kanały i tłumiąc nieistotne. SENet wygrał wyzwanie klasyfikacyjne ILSVRC 2017, zmniejszając błąd w pierwszej piątce do około 2,25%. Blok dodaje tylko kilka procent dodatkowych parametrów i obliczeń, a także łączy się z ResNet, Inception lub MobileNet przy minimalnych zmianach.
Wgląd techniczny
Ściśnięcie tworzy wektor z o długości C, gdzie z_c jest średnią przestrzenną kanału c. Wzbudzenie oblicza się s = sigmoid(W2 * ReLU(W1 * z)), gdzie W1 zmniejsza wymiar o współczynnik redukcji r (zwykle 16), a W2 go przywraca, utrzymując niewielki koszt dodatkowy. Dane wyjściowe to wejściowa mapa cech przeskalowana kanałowo o s. Jest to forma samosterowania: sieć decyduje na podstawie globalnych statystyk, które kanały mają znaczenie dla tego konkretnego sygnału wejściowego.
Wpływ strategiczny
Koszt i budżet
Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
Jaśniejsze decyzje
Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
Kontrola jakości
Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Przyszłość sieci ściskających i wzbudzających
Bloki SE funkcjonują w wydajnych architekturach: EfficientNet i MobileNetV3 osadzają je w swoich elementach konstrukcyjnych. Pomysł zaowocował rodziną modułów uwagi, CBAM dodaje uwagę przestrzenną, ECA-Net zastępuje wąskie gardło tanim splotem 1D, a te lekkie sztuczki rekalibracyjne pojawiają się teraz w wykrywaniu, segmentacji, a nawet w niektórych hybrydach transformatora wizyjnego. Oczekuj, że uwaga kanału pozostanie tanią dźwignią dokładności, wszędzie tam, gdzie utrzymują się zwoje.
Implementacja w świecie rzeczywistym
SENet wygrał wyzwanie klasyfikacyjne ImageNet ILSVRC 2017, dodając bloki SE do szkieletu ResNeXt
EfficientNet i MobileNetV3 osadzają moduły SE w każdym bloku, aby zwiększyć dokładność na urządzeniach mobilnych
Detektory obiektów i modele segmentacji wstawiają bloki SE, aby podkreślić kanały informacyjne
ECA-Net i CBAM rozszerzają koncepcję SE o tańszą lub uwzględniającą przestrzennie rekalibrację kanałów
Zagrożenia i poręcze
Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
Koszty infrastruktury i utrzymania są często niedoszacowane.
W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Plan wdrożenia
Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
Test porównawczy w realistycznych warunkach obciążenia i danych.
Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Sieci kapsułkowe
Często zadawane pytania
What is Squeeze-and-Excitation Networks?
Bloki Squeeze-and-Excitation (SE) pozwalają sieci splotowej dowiedzieć się, ile ważyć każdy kanał funkcji, ponownie kalibrując je w oparciu o kontekst globalny. Ten tani, przyciągający uwagę mechanizm wygrał konkurs ImageNet w 2017 r. i stał się standardowym elementem składowym CNN.
Do czego służy krok „ściskania” w bloku SE?
Ściśnięcie stosuje globalne łączenie średnich, zwijając każdą mapę obiektów do jednego deskryptora na kanał.
Co daje krok „wzbudzenia”?
Wzbudzenie przechodzi ściśnięty wektor przez dwie warstwy FC zakończone sigmoidą, uzyskując wagi skalowania na kanał.
W jaki sposób wagi wzbudzenia są stosowane do oryginalnych map obiektów?
Mapa funkcji każdego kanału jest mnożona przez jego wyuczoną wagę, wzmacniając lub tłumiąc ten kanał.
Dlaczego wzbudzenie wykorzystuje wąskie gardło o współczynniku redukcji (często 16)?
Wąskie gardło kurczy się, a następnie przywraca wymiar kanału, więc blok SE kosztuje tylko kilka procent więcej.
Jaki konkurs wygrał SENet w 2017 roku?
SENet wygrał wyzwanie klasyfikacji obrazów ILSVRC 2017, spychając pierwszą piątkę błędów do około 2,25%.