DalšíDalší průvodce
Dávková vs. real-time inferenci
Technický
Technický PRŮVODCE
Dávková normalizace je technika, která mění měřítko vstupů do každé vrstvy neuronové sítě během tréninku, takže hluboké sítě trénují rychleji a spolehlivěji.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It became one of the most widely used tricks in deep learning.
Jak data proudí hlubokou sítí, distribuce hodnot zásobujících každou vrstvu se neustále posouvá, jak se dřívější vrstvy aktualizují, což zpomaluje a destabilizuje trénink. Dávková normalizace, kterou zavedli Ioffe a Szegedy v roce 2015, řeší tento problém normalizací vstupů každé vrstvy v rámci aktuální minidávky, takže mají zhruba nulovou střední hodnotu a rozptyl jednotek. Poté použije dva naučitelné parametry, gama a beta, které umožňují škálování sítě a posunutí normalizovaných hodnot zpět, pokud to pomůže, takže neztrácí žádnou reprezentativní sílu. Přínos je velký: sítě tolerují vyšší rychlost učení, konvergují v menším počtu epoch, jsou méně citlivé na inicializaci váhy a často o něco lépe zobecňují. Háček je v tom, že chování závisí na statistice dávek, takže velmi malé dávky mohou způsobit jeho nestabilitu.
Vkládání dávkových norem vrstev do klasifikátoru obrázků ResNet, aby mohl trénovat s vyšší rychlostí učení a konvergovat v mnohem menším počtu epoch.
Stabilizace výcviku hluboké konvoluční sítě pro lékařské zobrazování, která se dříve rozcházela bez normalizace.
Snížení citlivosti na inicializaci hmotnosti ve vlastní CNN, takže inženýři tráví méně času ručním laděním počátečních hodnot.
Přepnutí ze statistiky dávek v tréninkovém režimu na uložené průběžné průměry při nasazení modelu, takže předpovědi jednoho obrázku zůstanou konzistentní.
Dávková normalizace zůstává tahounem v konvolučních modelech vidění, ale její závislost na dávkových statistikách je u opakujících se sítí, malých dávek a distribuovaného školení nepříjemná. To vedlo k přijetí alternativ, jako je normalizace vrstev, která normalizuje funkce v rámci jednoho příkladu a nyní dominuje architektuře transformátorů, plus normalizace skupin a instancí pro konkrétní domény. Pokračuje výzkum sítí bez normalizace, které odpovídají jeho výhodám pečlivou inicializací a škálováním. Očekávejte, že normalizace zůstane zásadní, přičemž konkrétní varianta bude zvolena tak, aby odpovídala architektuře.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Dávková normalizace je technika, která mění měřítko vstupů do každé vrstvy neuronové sítě během tréninku, takže hluboké sítě trénují rychleji a spolehlivěji. Stal se jedním z nejpoužívanějších triků v hlubokém učení.
Dávková norma standardizuje vstupy vrstvy pomocí průměru a rozptylu vypočítaných v rámci aktuální minidávky, přičemž udržuje aktivace ve stabilním rozsahu, jak trénink pokračuje.
Po normalizaci na nulovou střední hodnotu a odchylku jednotek nechá gama a beta síť změnit měřítko a znovu posunout hodnoty, pokud je to výhodné, takže normalizace neomezuje to, co může vrstva reprezentovat.
Díky tomu, že jsou vstupy na vrstvě dobře škálovány, dávková norma umožňuje sítím trénovat s vyšší rychlostí učení, rychleji konvergovat a být méně citlivé na inicializaci.
Použití živé statistiky šarže při odvození by způsobilo, že předpověď bude záviset na tom, které další příklady sdílejí dávku. Místo toho dávková norma používá pevné průběžné průměry uložené během tréninku.
Norma šarže závisí na odhadu průměru a odchylky od šarže. S velmi malým počtem příkladů jsou tyto odhady hlučné, což může destabilizovat trénink.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Dávková vs. real-time inferenci
Technický