LegközelebbKövetkező útmutató
Vesztési funkciók
Alapok
Alapok ÚTMUTATÓ
Az aktiválási függvények az egyes neuronokon belüli kis nemlineáris kapuk, amelyek lehetővé teszik a neurális hálózatok számára, hogy összetett, görbült mintákat tanuljanak meg egyszerű vonalak helyett.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Nélkülük egy mély hálózat egyetlen lineáris egyenletté omlana össze.
Minden neuron kiszámítja bemeneteinek súlyozott összegét, de ez az összeg önmagában lineáris. Halmozzon fel sok lineáris réteget, és matematikailag továbbra is csak egy nagy lineáris függvénye van, bármilyen mély is legyen. Az aktiváló függvények ezt megtörik azáltal, hogy nemlineáris transzformációt alkalmaznak minden egyes neuron kimenetén, így a hálózatok szinte bármilyen függvényt közelíthetnek. A legnépszerűbb a ReLU, amely egyszerűen a bemenetet adja ki, ha pozitív, egyébként nulla; gyors, és elkerüli a régebbi funkciók edzési problémáit. A szigmoid és a tanh squash értékeket korlátozott tartományokba helyezik, és történelmileg gyakoriak voltak, de szenvedhetnek a mély hálózatokban eltűnő gradiensektől. A kimeneten használt softmax függvény a nyers pontszámokat az osztályok közötti valószínűségi eloszlássá alakítja.
A ReLU használata a konvolúciós hálózat rejtett rétegeiben, hogy megtanulja a képfelismerés ívelt döntési határait
A softmax alkalmazása az utolsó rétegre, hogy az osztályozó nyers pontszámait osztályvalószínűségekké alakítsa, amelyek összege egy
A GELU aktiválások kiválasztása transzformátor nyelvi modellen belül a simább gradiens áramlás érdekében
Váltás Leaky ReLU-ra, ha a hálózatban túl sok neuron elpusztult és leállt
A ReLU és sima rokona, a GELU dominál manapság, a GELU-t pedig a transzformátorokban kedvelik, mert sima görbéje jól párosul az edzési dinamikájukkal. A kutatás olyan tanult és kapuzott aktiválásokat tár fel, mint a SwiGLU, amely ma már általános a nagy nyelvi modellekben, amelyek multiplikatív kapuzást használnak az expresszivitás fokozására. Az általános tendencia a sima, kapuzott funkciók felé irányul, amelyek javítják a gradiens áramlását és a modell minőségét. Míg az egzotikus aktiválások rendszeresen megjelennek a papírokban, az egyszerű, jól viselkedő funkciók általában nyernek a gyakorlatban, mert megbízhatóan edznek hatalmas modelleken.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Az aktiválási függvények az egyes neuronokon belüli kis nemlineáris kapuk, amelyek lehetővé teszik a neurális hálózatok számára, hogy összetett, görbült mintákat tanuljanak meg egyszerű vonalak helyett. Nélkülük egy mély hálózat egyetlen lineáris egyenletté omlana össze.
Without nonlinear activations, multiple linear layers compose to another linear mapping.
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
Softmax turns raw class scores into a probability distribution over classes.
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Vesztési funkciók
Alapok