LegközelebbKövetkező útmutató
Gradiens Descent
Alapok
Alapok ÚTMUTATÓ
A Nesterov Accelerated Gradient (NAG) a lendület intelligensebb formája, amely előretekint a gradiens kiszámítása előtt, így korrekciós előretekintést ad.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Gyakran gyorsabban és stabilabban konvergál, mint a klasszikus momentum.
A klasszikus momentum kiszámítja a gradienst az aktuális pozícióban, majd hozzáadja a felhalmozott sebességet. Neszterov Jurij Neszterov 1983-as, a gyorsított konvex optimalizálásról szóló munkájából származó belátása szerint először meg kell tennie a lendületet egy előretekintési pont felé, és ott kell értékelnie a gradienst. Ez lehetővé teszi az optimalizáló számára, hogy előre jelezze, hol hordozza a lendület, és korrekciót alkalmaz a túllövés előtt, mint egy futó, aki előre látja a kanyart, és korán, mint utána igazodik. A sima konvex problémákra a Neszterov-módszer 1/k^2 nagyságrendű optimális konvergencia rátát ér el a lépések számában, ami bizonyítható javulás a sima gradiens süllyedés 1/k értékéhez képest. A mély tanulásban a legtöbb keretrendszerben egyszerű lehetőségként kínálják, és gyakran valamivel gyorsabb, kevésbé oszcilláló edzést eredményez, mint a standard lendület ugyanazon együttható mellett.
A nesterov=True jelző engedélyezése PyTorchban vagy TensorFlow SGD-ben a gyorsabb és gördülékenyebb edzés érdekében.
A konvergencia felgyorsítása olyan sima konvex problémáknál, mint a nagy léptékű logisztikus regresszió.
A túllövés és az oszcilláció csökkentése mély hálózatok képzése során éles minimumok közelében.
A Nadam optimalizáló működése, amely hozzáadja Neszterov előretekintését Adamhez.
A Nesterov Momentum egy beépített jelző a PyTorch, TensorFlow és mások optimalizálóiban, és az Adam (Nadam) Nesterov változata ötvözi az előretekintést az adaptív skálázással. A gyorsuláselmélete továbbra is ösztönzi a lendületi módszerek, az újraindítási sémák kutatását, valamint annak elemzését, hogy a gyorsítás miért segít a nem konvex mély hálózatokban. Várható, hogy a Neszterov-stílusú előretekintés továbbra is csendesen általános alapértelmezés marad a gyorsabb, egyenletesebb konvergenciát követő szakemberek számára.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Nesterov Accelerated Gradient (NAG) a lendület intelligensebb formája, amely előretekint a gradiens kiszámítása előtt, így korrekciós előretekintést ad. Gyakran gyorsabban és stabilabban konvergál, mint a klasszikus momentum.
Neszterov először a lendületi lépést alkalmazza, hogy elérje az előretekintő pozíciót, majd kiszámítja az ottani gradienst, és előrejelző korrekciót ad.
Neszterov gyorsított módszere optimális 1/k^2 arányt ér el sima konvex objektívekhez, gyorsabban, mint a gradiens süllyedés 1/k értéke.
Jurij Neszterov 1983-ban publikálta a gyorsított gradiens módszert a konvex optimalizáláshoz.
A lendület irányának gradiensének kiértékelésével Neszterov a klasszikus lendületnél korábban korrigálja a közelgő túllövést.
A keretrendszerek átrendezett formát valósítanak meg, így Nesterov elhanyagolható többletköltséget ad a szokásos lendülethez képest.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gradiens Descent
Alapok