LegközelebbKövetkező útmutató
Sztochasztikus súlyátlagolás
Műszaki
Műszaki ÚTMUTATÓ
Hogyan állítja be a neurális hálózat kezdősúlyait az edzés megkezdése előtt, ami erősen befolyásolja, hogy a jelek és a gradiensek egészségesek maradnak-e a mély rétegeken keresztül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A jó inicializálás a különbség a gyors konvergencia és a soha nem tanuló modell között.
Edzés előtt minden súlynak kiindulási értékre van szüksége. Ezek mindegyikének nullára állítása végzetes: az azonos súlyok azonos gradienseket eredményeznek, így a neuronok soha nem tesznek különbséget – ez a szimmetriabontó probléma. A véletlenszerű inicializálás megtöri a szimmetriát, de a lépték rendkívül sokat számít. Túl nagy, és az aktiválások és a gradiensek felrobbannak; túl kicsik és eltűnnek. Az elvi sémák a rétegméret alapján választják ki a szórást, hogy a jelvarianciát nagyjából állandó szinten tartsák a rétegek között. A Xavier (Glorot) inicializálás a bemeneti és kimeneti egységek számával skálázza a varianciát, és megfelel a tanh és szigmoid hálózatoknak. Ő (Kaiming) az inicializálást a bemenetek számával skálázza, és figyelembe veszi, hogy a ReLU eldobja a bemeneteinek felét, így ez a szabvány a ReLU-alapú mélyhálózatok és CNN-k számára. A jó inicializálás stabilan tartja a korai betanítást, amíg a normalizálás és az adaptív optimalizálók át nem veszik az irányítást.
A ReLU aktiválásokat használó CNN-t He inicializálással inicializálják, így a mély konvolúciós veremek eltűnő jelek nélkül haladnak.
A tanh aktiválással rendelkező hálózat Xavier inicializálást használ, hogy az aktiválási varianciát stabilan tartsa a rétegek között.
Egy mérnök, aki véletlenül nullára inicializálja az összes súlyt, azt látja, hogy a hálózat nem tanul, mert minden neuron azonos marad.
A keretrendszer alapértelmezései (PyTorch Kaiming, Keras Glorot egységes) automatikusan alkalmazzák az elvi inicializálást a réteg létrehozásakor.
A normalizálási rétegek és a maradék kapcsolatok kevésbé érzékenyek a pontos inicializálásra, de ez még mindig számít nagyon mély vagy normalizálás nélküli hálózatok esetén. Az aktív kutatás magában foglalja a transzformátorokra és a figyelemre szabott sémákat, olyan módszereket, amelyek lehetővé teszik a hálózatok normalizálási rétegek nélküli edzését, valamint olyan elméleteket, mint a dinamikus izometria és a neurális tangens kernel, amely önmagában az inicializálásból jósolja meg a betaníthatóságot. Egy másik növekvő irány az adatfüggő inicializálás, amely egy mintakötegből kalibrálja a skálákat.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Hogyan állítja be a neurális hálózat kezdősúlyait az edzés megkezdése előtt, ami erősen befolyásolja, hogy a jelek és a gradiensek egészségesek maradnak-e a mély rétegeken keresztül. A jó inicializálás a különbség a gyors konvergencia és a soha nem tanuló modell között.
Azonos súlyok mellett minden neuron ugyanazt a kimenetet és gradienst számítja ki, így ugyanúgy frissülnek, és a réteg soha nem tud különálló jellemzőket megtanulni.
Az inicializálás 2 / fan_in értékkel skálázza a szórást, hogy kompenzálja azt, hogy a ReLU nullázza a bemeneteinek körülbelül a felét.
Az olyan sémák, mint a Xavier és He a rétegméretek közül választják a súlyvarianciát, így a jelek nem tűnnek el és nem robbannak fel terjedésük során.
Xavier egyensúlyban tartja az előre és hátra szórást a szimmetrikus, telítő aktiválások érdekében, mint például a tanh és a sigmoid.
A ReLU csak pozitív bemeneteket ad át, a jel körülbelül felét eldobja, így a variancia megkétszerezése visszaállítja a várt aktiválási varianciát.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Sztochasztikus súlyátlagolás
Műszaki