Sieci resztkowe
Sieci resztkowe (ResNets) to głębokie sieci neuronowe, które dodają „pomijanie połączeń”, umożliwiając warstwom uczenie się drobnych korekt zamiast pełnych transformacji.
Przegląd
Ten prosty trik umożliwił trenowanie sieci na setki warstw, co wywołało skok w dokładności rozpoznawania obrazów.
Głębokie nurkowanie
Przed ResNets układanie wielu warstw paradoksalnie powodowało gorszą wydajność sieci, nawet w przypadku danych szkoleniowych, co było problemem zwanym degradacją. W 2015 roku badacze Microsoft, Kaiming He i współpracownicy, wprowadzili blok resztkowy: zamiast prosić stos warstw o bezpośrednie utworzenie wyniku H(x), pozwolili mu nauczyć się reszty F(x) = H(x) - x, a następnie dodali oryginalne dane wejściowe x z powrotem za pomocą skrótu. Jeśli warstwa jest niepotrzebna, może po prostu nauczyć się nic nie robić (F(x) = 0). ResNet-152 wygrał konkurs ImageNet w 2015 r., notując błąd w pierwszej piątce wynoszący około 3,6%, przewyższając szacunki na poziomie ludzkim, a jego architektura stała się podstawową podstawą wykrywania, segmentacji i obrazowania medycznego.
Wgląd techniczny
Połączenie pomijające zamienia zadanie każdego bloku w y = F(x) + x. Podczas propagacji wstecznej gradient przepływa przez skrót tożsamości w niezmienionej postaci, więc nie może zniknąć prawie do zera nawet w setkach warstw. Dzięki temu głębokie stacki można trenować. Skróty tożsamości nie dodają żadnych dodatkowych parametrów; tylko wtedy, gdy rozmiary wejściowe i wyjściowe różnią się, mały rzut (splot 1x1) dostosowuje wymiary przed dodaniem.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość sieci resztkowych
Połączenia resztkowe są teraz niemal uniwersalne: transformatory, modele dyfuzyjne i modele dużych języków wykorzystują je do stabilizacji uczenia bardzo głębokich stosów. Trwają badania nad wariantami takimi jak sieci ResNet przed aktywacją, pogrupowane ścieżki ResNeXt i łączenie pozostałych pomysłów ze szkoleniem pozbawionym normalizacji. Oczekuj, że podstawowa zasada pomijania połączeń pozostanie domyślnym elementem składowym, nawet gdy otaczające architektury odejdą od czystych splotów w stronę projektów hybrydowych.
Implementacja w świecie rzeczywistym
Szkielety klasyfikacji ImageNet (ResNet-50, ResNet-101) używane jako wstępnie wytrenowane ekstraktory cech do uczenia się transferowego
Wykrywanie nowotworów i zmian chorobowych na obrazach radiologicznych i patologicznych przy użyciu koderów opartych na ResNet
Struktury wykrywania obiektów i segmentacji instancji, takie jak Faster R-CNN i Mask R-CNN, które wykorzystują szkielety ResNet
Samobieżne rurociągi percepcji, które klasyfikują pieszych, pojazdy i znaki na podstawie klatek kamer
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Funkcja Sieci piramid
Często zadawane pytania
Czym są sieci rezydualne?
Sieci resztkowe (ResNets) to głębokie sieci neuronowe, które dodają „pomijanie połączeń”, umożliwiając warstwom uczenie się drobnych korekt zamiast pełnych transformacji. Ta prosta sztuczka umożliwiła uczenie sieci na głębokość setek warstw, co spowodowało skok w dokładności rozpoznawania obrazów.
Jaki problem konkretnie rozwiązały połączenia resztkowe?
Przed ResNets dodanie większej liczby warstw powodowało pogorszenie dokładności nawet w przypadku danych szkoleniowych. Pomiń połączenia rozwiązano ten problem, ułatwiając optymalizację warstw.
Co faktycznie oblicza blok resztkowy jako wynik?
Blok resztkowy wyprowadza y = F(x) + x, dodając poznaną resztę do wejścia poprzez połączenie pomijane.
Dlaczego pomijanie połączeń pomaga na wzniesieniach podczas treningu?
Skrót tożsamości zapewnia bezpośrednią ścieżkę dla gradientów, które płyną wstecz w niezmienionej postaci, zapobiegając problemowi znikającego gradientu w bardzo głębokich stosach.
Ile mniej więcej warstw miał zwycięski model ResNet z 2015 roku?
ResNet-152, składający się ze 152 warstw, zwyciężył w konkursie ImageNet 2015, pokazując, że obecnie można z powodzeniem trenować bardzo głębokie sieci.
Jeśli warstwy pozostałego bloku nauczą się F(x) = 0, co robi blok?
Gdy F(x) = 0, wynikiem jest po prostu x, więc blok staje się odwzorowaniem tożsamości. Dzięki temu dodatkowe warstwy są nieszkodliwe, jeśli nie są potrzebne.