NastępnyNastępny poradnik
Stochastyczne opadanie gradientu z pędem
Podstawy
PODSTAWOWY PRZEWODNIK
Rezygnacja z pracy i regularyzacja stochastyczna
Rezygnacja to sztuczka regularyzacyjna, która losowo wyłącza część neuronów na każdym etapie uczenia, zmuszając sieć do tworzenia nadmiarowych, solidnych reprezentacji.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It became one of the most influential techniques for fighting overfitting in deep learning.
Głębokie nurkowanie
Metoda porzucania nauki, wprowadzona przez grupę Hintona około 2012 r., odnosi się do kluczowej słabości dużych sieci: neurony mogą się współadaptować, ucząc się wzajemnego naprawiania błędów w sposób, który działa tylko na danych szkoleniowych. Przy każdym przejściu do przodu podczas treningu, przerwa losowo ustawia wyjście każdego neuronu na zero z pewnym prawdopodobieństwem p (często 0,5 w gęstych warstwach). Ponieważ dowolny neuron może zniknąć, sieć nie może opierać się na kruchych partnerstwach i musi rozpowszechniać przydatne informacje pomiędzy wieloma jednostkami. Działa to jak trenowanie ogromnego zestawu rozrzedzonych sieci o wspólnych wagach. W czasie testu odrzucanie jest wyłączone i wykorzystywana jest cała sieć, a aktywacje są skalowane w taki sposób, aby oczekiwane dane wyjściowe odpowiadały treningowi. Rezultatem jest zazwyczaj lepsze uogólnienie kosztem nieco dłuższego szkolenia.
Implementacja w świecie rzeczywistym
Dodanie warstwy Dropout z p około 0,5 pomiędzy gęstymi warstwami klasyfikatora obrazu lub tekstu w PyTorch lub Keras
Modele transformatorowe stosujące zanik ciężarów uwagi i aktywacje wyprzedzające podczas treningu wstępnego
Rezygnacja z Monte Carlo, w przypadku której rezygnacja pozostaje włączona podczas wnioskowania w celu uzyskania szacunków niepewności dla prognoz medycznych lub krytycznych dla bezpieczeństwa
Głębokość stochastyczna (DropPath) losowo pomija bloki resztkowe w celu uregulowania bardzo głębokich sieci, takich jak ResNets i transformatory wizyjne
Przyszłość porzucenia i regularyzacji stochastycznej
W sieciach z wizją splotową normalizacja wsadowa w dużej mierze wyparła standardowe zaniki, ale warianty rozwijają się gdzie indziej: transformatory stosują zaniki do warstw uwagi i przekazywania, a DropPath (głębokość stochastyczna) usuwa całe bloki resztkowe. Do oszacowania niepewności modelu wykorzystuje się rezygnację Monte Carlo, która utrzymuje tę eliminację aktywną przy wnioskowaniu. Oczekuj, że regularyzacja stochastyczna pozostanie elastycznym zestawem narzędzi, dostosowanym do architektury, a nie pojedynczą ustaloną receptą.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Jaśniejsze decyzje. Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
- Koszt i budżet. Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
- Zespół i przepływ pracy. Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Uważaj na
- Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
- Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
- Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Kolejne kroki
- Zacznij od jasnej definicji potrzebnego wyniku.
- Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
- Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
- Dokumentuj, gdzie pomaga rezygnacja z nauki i regularyzacja stochastyczna oraz gdzie prostsze metody są lepsze.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Dropout and Stochastic Regularization quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Dropout and Stochastic Regularization?
Rezygnacja to sztuczka regularyzacyjna, która losowo wyłącza część neuronów na każdym etapie uczenia, zmuszając sieć do tworzenia nadmiarowych, solidnych reprezentacji. Stała się jedną z najbardziej wpływowych technik zwalczania nadmiernego dopasowania w uczeniu głębokim.
Co robi rezygnacja z treningu?
Rezygnacja losowo zeruje każdy neuron z prawdopodobieństwem p podczas uczenia, więc na każdym etapie używana jest inna rozrzedzona podsieć.
Dlaczego rezygnacja z nauki sprzyja uogólnianiu?
Losowe usuwanie jednostek uniemożliwia neuronom tworzenie delikatnych powiązań, które działają tylko na danych szkoleniowych, co poprawia niezawodność.
Co dzieje się z porzuceniem w czasie testu (wnioskowania)?
Podsumowując, cała sieć działa z wyłączoną funkcją przerywania, a aktywacje są skalowane w taki sposób, aby oczekiwane wyniki odpowiadały rozkładowi szkoleniowemu.
Co w przybliżeniu oznacza współczynnik rezygnacji p = 0,5 w warstwie podczas treningu?
Przy p = 0,5 każdy neuron ma 50% szans na wyzerowanie, więc średnio około połowa zostaje usunięta przy każdym przejściu do przodu.
Co jest często określane jako przybliżone?
Próbkowanie różnych podsieci na każdym etapie jest przybliżeniem uśredniania wykładniczej liczby sieci o współdzielonej wadze, co jest formą taniego zestawu.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat