LegközelebbKövetkező útmutató
Gradiens ellenőrzőpont
Műszaki
Műszaki ÚTMUTATÓ
Mély hálózatok betanítása során a hibajelek nulla felé zsugorodnak, vagy a végtelen felé felrobbannak, miközben visszafelé haladnak több rétegen keresztül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
This makes deep and recurrent models painfully slow or impossible to train without specific fixes.
A neurális hálózatok a visszaterjesztéssel tanulnak, amely a láncszabály segítségével rétegről rétegre szorozza meg a gradienseket. Ha sok réteget halmoz fel, ezek a rétegenkénti tényezők összeszorozódnak. Ha minden tényező folyamatosan kisebb, mint 1, a termék exponenciálisan zsugorodik, és a korai rétegek alig frissülnek – ez az eltűnő gradiens probléma. Ha minden tényező nagyobb 1-nél, a termék felrobban, hatalmas instabil frissítéseket vagy NaN értékeket produkálva. A telítő aktiválások, mint a sigmoid és a tanh, amelyek származékai maximum 0,25 és 1, klasszikus bűnösök. A probléma a legsúlyosabb a mélyen előrecsatolt hálókban és a hosszú sorozatokat feldolgozó visszatérő hálózatokban (RNN), ahol ugyanazt a súlymátrixot alkalmazzák minden egyes lépésben, ami drámai módon fokozza a hatást.
A korai RNN nyelvi modellek nehezen tudtak szavakat összekapcsolni hosszú mondatokban, mert a színátmenetek sok idő alatt eltűntek, motiválva az LSTM-eket és a GRU-kat.
A ResNet lehetővé tette a 100+ rétegű képosztályozó betanítását azáltal, hogy olyan átugrási kapcsolatokat ad hozzá, amelyek közvetlen, hígítatlan utat biztosítanak a színátmeneteknek visszafelé.
A fejlesztő azt látja, hogy az edzési veszteség hirtelen NaN-vé válik – ez a felrobbanó gradiensek árulkodó jele –, és gradiensvágást ad hozzá, hogy stabilizálja azt.
Felügyeleti eszközök a PyTorch vagy TensorFlow rétegenkénti színátmeneti normákban, hogy a mérnökök észrevegyék azt a réteget, amelynek színátmenetei nulla közelébe zuhantak.
Az alapvető mérséklők – maradék (kihagyó) kapcsolatok, normalizálás, kapuzás és gondos inicializálás – már szabványosak, így az eltűnő gradiensek ritkán akadályozzák a modern architektúrák képzését. A transzformátorok teljesen kikerülik az ismétlődő összetett összetételt azáltal, hogy a figyelmet egy sorozatra fordítják, ahelyett, hogy egyetlen mátrixot ismételten alkalmaznának. Folytatódik a kutatás több ezer réteg mélységű betanító hálózatokon, stabil, nagyon hosszú kontextusú modelleken, és olyan elméleti eszközökön, mint a neurális tangens kernel, amelyek megjósolják a jel terjedését, mielőtt egyetlen betanítási lépés lefutna.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Mély hálózatok betanítása során a hibajelek nulla felé zsugorodnak, vagy a végtelen felé felrobbannak, miközben visszafelé haladnak több rétegen keresztül. Emiatt a mély és visszatérő modellek fájdalmasan lelassulnak vagy lehetetlenné teszik a képzést speciális javítások nélkül.
A visszaterjesztés a láncszabályt alkalmazza, sok rétegenkénti tényezőt összeszorozva; Az 1 alatti értékű termékek eltűnnek, és az 1 feletti termékek felrobbannak.
Sigmoid and tanh derivatives can be small in saturated regions; repeated multiplication across depth or time can shrink early-layer gradients.
Egy RNN minden időlépésben ugyanazt az ismétlődő súlymátrixot alkalmazza, így egy hosszú sorozat során a hatásvegyületek kedvelik a mátrix sajátértékét a sorozat hosszára emelve.
A felrobbanó gradiensek hatalmas frissítéseket hoznak létre, amelyek túlcsordulnak a végtelenségig vagy NaN-ig; az eltűnő gradiensek ehelyett a veszteség leállását okozzák.
A kapcsolatok kihagyása azonosító útvonalat ad hozzá, így a színátmenetek visszafelé áramolhatnak anélkül, hogy a közbenső rétegek ismételten csillapítanák őket.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gradiens ellenőrzőpont
Műszaki