DalšíDalší průvodce
Stochastické průměrování hmotnosti
Technický
Technický PRŮVODCE
Jak nastavíte počáteční váhy neuronové sítě před začátkem tréninku, což silně ovlivňuje, zda signály a gradienty zůstanou zdravé i v hlubokých vrstvách.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Good initialization is the difference between fast convergence and a model that never learns.
Před tréninkem potřebuje každá váha výchozí hodnotu. Nastavení všech na nulu je fatální: identické váhy vytvářejí identické gradienty, takže neurony se nikdy nerozlišují – to je problém narušující symetrii. Náhodná inicializace narušuje symetrii, ale na měřítku nesmírně záleží. Příliš velké a aktivace a přechody explodují; příliš malé a zmizí. Principiální schémata volí rozptyl založený na velikosti vrstvy, aby byl rozptyl signálu mezi vrstvami zhruba konstantní. Inicializace Xavier (Glorot) škáluje rozptyl podle počtu vstupních a výstupních jednotek a vyhovuje sítím tanh a sigmoid. Inicializace (Kaiming) se škáluje podle počtu vstupů a odpovídá za to, že ReLU vyřadí polovinu svých vstupů, což z něj činí standard pro hluboké sítě založené na ReLU a CNN. Dobrá inicializace udržuje rané trénování stabilní, dokud převezmou normalizaci a adaptivní optimalizátory.
CNN využívající aktivace ReLU je inicializováno inicializací He, takže hluboké konvoluční zásobníky trénují bez mizejících signálů.
Síť s tanh aktivacemi používá Xavierovu inicializaci k udržení stabilního rozptylu aktivace napříč vrstvami.
Inženýr, který omylem inicializuje všechny váhy na nulu, vidí, že se síť neučí, protože každý neuron zůstává stejný.
Výchozí nastavení rámce (PyTorch's Kaiming, Keras's Glorot uniform) aplikuje principiální inicializaci automaticky při vytvoření vrstvy.
Normalizační vrstvy a zbytková připojení způsobily, že trénink je poněkud méně citlivý na přesnou inicializaci, ale stále záleží na velmi hlubokých sítích nebo sítích bez normalizace. Aktivní výzkum zahrnuje schémata přizpůsobená transformátorům a pozornosti, metody, které umožňují trénování sítí bez jakýchkoli normalizačních vrstev, a teorie, jako je dynamická izometrie a jádro neuronových teček, které předpovídá trénovatelnost již od samotné inicializace. Dalším směrem růstu je inicializace závislá na datech, která kalibruje váhy ze vzorkové šarže.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Jak nastavíte počáteční váhy neuronové sítě před začátkem tréninku, což silně ovlivňuje, zda signály a gradienty zůstanou zdravé i v hlubokých vrstvách. Dobrá inicializace je rozdíl mezi rychlou konvergencí a modelem, který se nikdy neučí.
S identickými váhami každý neuron počítá stejný výstup a gradient, takže se aktualizují identicky a vrstva se nikdy nemůže naučit odlišné vlastnosti.
Inicializace měří rozptyl o 2 / fan_in, aby kompenzovala ReLU vynulování asi poloviny svých vstupů.
Schémata jako Xavier a He vybírají váhový rozptyl z velikostí vrstev, takže signály ani nezmizí, ani nevybuchnou, když se šíří.
Xavier vyvažuje variaci vpřed a vzad pro symetrické, saturující aktivace jako tanh a sigmoid.
ReLU propouští pouze kladné vstupy a zahazuje asi polovinu signálu, takže zdvojnásobení rozptylu obnoví očekávaný rozptyl aktivace.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Stochastické průměrování hmotnosti
Technický