DalšíDalší průvodce
Normalizace skupinových odměn v RLHF
Základy
PRŮVODCE Základy
Skupinová normalizace je technika, která stabilizuje trénink neuronové sítě normalizací funkcí v malých skupinách kanálů, nezávisle pro každý příklad.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože na rozdíl od normalizace dávek funguje dobře, i když jsou dávky malé.
Normalizační vrstvy udržují čísla v síti dobře škálovaná, což urychluje a stabilizuje trénink. Dávková normalizace to dělá tak, že vypočítá průměr a rozptyl každého prvku v rámci celé mini-dávky, ale díky tomu je křehká, když jsou dávky malé, protože statistiky se stávají hlučnými a nespolehlivé. Skupinová normalizace, kterou zavedli Wu a He v roce 2018, zcela odstraňuje dávku z rovnice. Pro každý jednotlivý příklad rozdělí kanály do pevného počtu skupin a poté normalizuje každou skupinu pouze pomocí vlastních hodnot daného příkladu. Protože výpočet nikdy nezávisí na jiných příkladech v dávce, výkon zůstává stabilní, ať už dávka obsahuje 32 snímků, nebo jen jeden, díky čemuž je populární v úlohách detekce, segmentace a paměťově náročných úloh vidění.
Detekce objektů a segmentace instancí (např. modely ve stylu Mask R-CNN) trénované s velmi malými dávkami na GPU.
Páteří U-Net uvnitř generátorů difúzního obrazu, kde Group Norm stabilizuje měřítka funkcí.
3D a video sítě, kde velké využití paměti snižuje velikost dávky na jednu nebo dvě.
Jemné ladění velkých modelů vidění na omezeném hardwaru, kde malé dávky činí statistiky Batch Norm nespolehlivé.
Skupinová normalizace zůstává volbou všude tam, kde musí být dávky malé, jako je detekce a segmentace ve vysokém rozlišení, 3D a video modely a trénink s omezenou pamětí. Je také zabudován do široce používaných generativních architektur, jako jsou U-Net uvnitř difúzních modelů. Jak modely rostou a tlak na paměť tlačí velikosti dávek dolů, normalizátory nezávislé na dávkách, mezi nimi Group Norm spolu s normou Layer Norm, pravděpodobně zůstanou výchozími stavebními bloky s pokračujícím výzkumem hybridů a alternativ bez normalizace.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Skupinová normalizace je technika, která stabilizuje trénink neuronové sítě normalizací funkcí v malých skupinách kanálů, nezávisle pro každý příklad. Je to důležité, protože na rozdíl od normalizace dávek funguje dobře, i když jsou dávky malé.
Průvodce říká, že GN normalizuje skupiny kanálů v každém příkladu.
Článek zdůrazňuje stabilní chování při malých velikostech dávek, protože výpočet se nespoléhá na statistiku dávek.
Výpočet papíru používá statistiky v rámci skupiny příkladů, nezávisle na velikosti dávky.
Průvodce uvádí, že jedna skupina redukuje schéma na LayerNorm.
Průvodce říká, že jeden kanál na skupinu odpovídá InstanceNorm.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Normalizace skupinových odměn v RLHF
Základy