LegközelebbKövetkező útmutató
Gradiens Descent
Alapok
Alapok ÚTMUTATÓ
A Momentum a gradiens süllyedésének finomítása, amely összegyűjti a múltbeli gradiensek futóátlagát, lehetővé téve, hogy az optimalizálás gyorsabban haladjon át a völgyekben, és csillapítsa az oszcillációkat.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez az egyik legelterjedtebben használt trükk a mélytanulásban.
A sima sztochasztikus gradiens süllyedés (SGD) úgy frissíti a paramétereket, hogy az aktuális mini kötegelt gradienssel ellentétes irányba lép. A hosszú, keskeny szakadékok alakú tájakon ez cikcakkban cikázik a meredek falakon, miközben a szelíd padlón kúszik. A Polyak, majd Rumelhart és munkatársai által népszerűsített Momentum ezt a sebességvektor fenntartásával javítja: minden lépésben az új gradienst keverik az előző sebesség töredékével (a lendületi együttható, gyakran 0,9). A következetes gradiens irányok erősítenek és felgyorsítanak, míg az oszcilláló komponensek részben kioltják. A fizikai analógia egy nehéz labda, amely lefelé gördül: egyenletes irányban növeli a sebességet, és kevésbé téríti el a zajos ütésektől, így gyorsabb, simább konvergenciát biztosít, mint a vanília SGD.
Mély konvolúciós hálózatok betanítása, mint például a ResNet, ahol az SGD 0,9-es lendülettel szabványos recept.
A zajos gradiensbecslések elsimítása kis mini-kötegek használatakor.
Sekély lokális fennsíkok kiszabadulása a sebesség sík területeken történő átvitelével.
Lendületi kifejezésként szolgál az adaptív optimalizálókban, például az Adam és az RMSprop változatokban.
A lendület továbbra is alapvető: az olyan adaptív optimalizálók, mint az Adam és változatai egy lendület-stílusú első pillanat becslést ágyaznak be, és az SGD lendülettel még mindig olyan erős kiindulási alap, amely gyakran jobban általánosít, mint az adaptív módszerek a nagy látású modelleken. Folytatódik a kutatás a lendületütemezéssel, a függetlenített súlycsökkenéssel és ennek a nagyon nagy tételes képzéssel való kölcsönhatásával kapcsolatban. Arra számíthat, hogy az optimalizálók az egyre nagyobb modellekhez való fejlődés során az alapvető összetevők maradnak.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Momentum a gradiens süllyedésének finomítása, amely összegyűjti a múltbeli gradiensek futóátlagát, lehetővé téve, hogy az optimalizálás gyorsabban haladjon át a völgyekben, és csillapítsa az oszcillációkat. Ez az egyik legszélesebb körben használt képzési trükk a mély tanulásban.
A Momentum egy sebességvektort tart fenn, amely a legutóbbi gradiensek exponenciálisan súlyozott mozgóátlaga, simítva a frissítés irányát.
Az SGD lendület nélkül oszcillál a szakadék meredek irányain. A Momentum kioltja ezeket az oszcillációkat, és felgyorsul a szelíd völgytalp mentén.
A Momentum egy nehéz labdához hasonlítható, amely egyenletes irányban növeli a sebességet, és ellenáll a zajos ütésektől való elhajlásnak.
Az erősítési tényező hozzávetőlegesen 1/(1 - béta), és 1/(1 - 0,9) = 10, tehát a konzisztens irányok nagyjából tízszeresére gyorsulnak.
Adam kombinálja a gradiensek lendületszerű első pillanatbeli (átlagos) becslését a második pillanat (variancia) becslésével az adaptív skálázáshoz.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gradiens Descent
Alapok