Normalizacja grupowa
Normalizacja grupowa to technika stabilizująca uczenie sieci neuronowej poprzez normalizację cech w małych grupach kanałów, niezależnie dla każdego przykładu.
Przegląd
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Głębokie nurkowanie
Warstwy normalizacyjne zapewniają odpowiednią skalowalność liczb przepływających przez sieć, co przyspiesza i stabilizuje trening. Normalizacja wsadowa dokonuje tego poprzez obliczenie średniej i wariancji każdej cechy w całej minipartii, ale to sprawia, że jest ona niestabilna, gdy partie są małe, ponieważ statystyki stają się zaszumione i niewiarygodne. Normalizacja grupowa, wprowadzona przez Wu i He w 2018 r., całkowicie usuwa partię z równania. Dla każdego pojedynczego przykładu dzieli kanały na ustaloną liczbę grup, a następnie normalizuje każdą grupę, używając wyłącznie wartości z tego przykładu. Ponieważ obliczenia nigdy nie zależą od innych przykładów w partii, wydajność pozostaje stała niezależnie od tego, czy partia zawiera 32 obrazy, czy tylko jeden, co czyni go popularnym w wykrywaniu, segmentacji i zadaniach wizyjnych wymagających dużej ilości pamięci.
Wgląd techniczny
Norma grupowa oblicza średnią i wariancję dla wymiarów przestrzennych i dla kanałów w każdej grupie dla każdej próbki. Następnie normalizuje się do średniej zerowej i wariancji jednostkowej oraz stosuje poznaną skalę na kanał (gamma) i przesunięcie (beta). Uogólnia inne schematy: w przypadku jednej grupy staje się Normalizacją Warstw, a w przypadku jednego kanału na grupę staje się Normalizacją Instancji. Liczba grup jest hiperparametrem, często ustawianym na 32.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość normalizacji grupowej
Normalizacja grupowa pozostaje najlepszym wyborem wszędzie tam, gdzie partie muszą być małe, na przykład w przypadku wykrywania i segmentacji w wysokiej rozdzielczości, modeli 3D i wideo oraz szkoleń z ograniczoną pamięcią. Jest również osadzony w powszechnie używanych architekturach generatywnych, takich jak wewnętrzne modele dyfuzji U-Nets. W miarę rozrastania się modeli i zmniejszania się ilości pamięci w partiach, niezależne od partii normalizatory, w tym Group Norm wraz z Layer Norm, prawdopodobnie pozostaną domyślnymi elementami składowymi, przy ciągłych badaniach nad hybrydami i alternatywami wolnymi od normalizacji.
Implementacja w świecie rzeczywistym
Wykrywanie obiektów i segmentacja instancji (np. modele w stylu Mask R-CNN) trenowane przy użyciu bardzo małych partii przypadających na procesor graficzny.
Szkielet U-Net wewnątrz generatorów obrazu dyfuzyjnego, gdzie Norma Grupowa stabilizuje skale cech.
Sieci 3D i wideo, w których duże wykorzystanie pamięci wymusza zmniejszenie rozmiaru partii do jednej lub dwóch.
Dostrajanie dużych modeli wizyjnych na ograniczonym sprzęcie, gdzie małe partie powodują, że statystyki Batch Norm są niewiarygodne.
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokument, w którym pomaga normalizacja grup i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Zgrupowana normalizacja nagród w RLHF
Często zadawane pytania
What is Group Normalization?
Normalizacja grupowa to technika stabilizująca uczenie sieci neuronowej poprzez normalizację cech w małych grupach kanałów, niezależnie dla każdego przykładu. Ma to znaczenie, ponieważ w przeciwieństwie do normalizacji wsadowej działa dobrze nawet w przypadku małych partii.
Jaka jest główna przewaga normalizacji grupowej nad normalizacją wsadową?
Ponieważ Norma Grupowa oblicza statystyki na podstawie przykładu, a nie całej partii, nie ulega degradacji w przypadku małych partii, w przeciwieństwie do Normy Batchowej.
Na podstawie czego normalizacja grupowa oblicza średnią i wariancję?
Dzieli kanały na grupy i normalizuje każdą grupę, używając tylko wartości i lokalizacji przestrzennych tego jednego przykładu, ignorując resztę partii.
W jakim specjalnym przypadku normalizacja grupy staje się normalizacją warstw?
W przypadku pojedynczej grupy wszystkie kanały są razem normalizowane, co jest dokładnie normalizacją warstw.
W jakim szczególnym przypadku normalizacja grupy staje się normalizacją instancji?
Jeśli każda grupa zawiera pojedynczy kanał, każdy kanał jest normalizowany osobno, zgodnie z przykładem, co jest normalizacją instancji.
Co po normalizacji stosuje Norma Grupowa, aby przywrócić elastyczność reprezentacji?
Podobnie jak inne warstwy normalizacji, Group Norm zawiera możliwe do nauczenia parametry skali i przesunięcia, dzięki czemu sieć może cofnąć lub dostosować normalizację w razie potrzeby.