Nesterov Accelerated Gradient
Nesterov Accelerated Gradient (NAG) jẹ ọna ijafafa ti ipa ti o yoju ṣaaju ki o to ṣe iṣiro gradient, fifun ni oju-ọna atunṣe niwaju.
Akopọ
Nigbagbogbo o ni iyara ati iduroṣinṣin diẹ sii ju agbara kilasika lọ.
Jin Dive
Agbara kilasika ṣe iṣiro gradient ni ipo lọwọlọwọ, lẹhinna ṣafikun iyara ikojọpọ. Imọye Nesterov, lati iṣẹ Yurii Nesterov ni ọdun 1983 lori imudara convex imudara, ni lati kọkọ gbe igbesẹ ipa si aaye wiwa-iwaju ki o ṣe iṣiro gradient nibẹ. Eyi jẹ ki oluṣapejuwe nireti ibi ti ipa ti n gbe ati ki o lo atunṣe ṣaaju ki o to bori, bii olusare ti o rii ohun tẹ siwaju ati ṣatunṣe ni kutukutu kuku ju lẹhin naa. Fun awọn iṣoro rirọrun didan Ọna Nesterov ṣe aṣeyọri oṣuwọn isọdọkan ti o dara julọ ti aṣẹ 1/k^2 ni nọmba awọn igbesẹ, ilọsiwaju ti o le ṣe afihan lori isunmọ gradient itele ti 1/k. Ninu ẹkọ ti o jinlẹ o funni bi aṣayan ti o rọrun ni ọpọlọpọ awọn ilana ati nigbagbogbo n so eso ni iyara diẹ, ikẹkọ oscillatory ti o kere ju ipa-ọna boṣewa ni iye-iye kanna.
Imọ-imọ-ẹrọ
Iyatọ bọtini ni ibiti a ti ṣe iṣiro gradient. Imudara ti o ṣe deede nlo gradient ni awọn aye lọwọlọwọ; Nesterov ṣe iṣiro rẹ ni ipo wiwo-iwaju params iyokuro awọn akoko oṣuwọn ikẹkọ akoko iyara beta. Atẹle ifojusọna yii ni imunadoko ṣe afikun atunṣe ni ibamu si iyipada ninu gradient, rirọ-afẹfẹ overshoot nitosi minima te. Ni iṣe awọn ilana imuse imudojuiwọn atunto aljebra kan nitoribẹẹ afikun idiyele lori ipa lasan jẹ aifiyesi.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Nesterov Accelerated Gradient
Agbara Nesterov jẹ asia ti a ṣe sinu awọn iṣapeye kọja PyTorch, TensorFlow, ati awọn miiran, ati iyatọ Nesterov kan ti Adam (Nadam) dapọ iwo-iwaju pẹlu iwọn imudara. Ilana isare rẹ tẹsiwaju lati ṣe iwuri fun iwadii sinu awọn ọna iyara, awọn eto atunbere, ati itupalẹ idi ti isare ṣe iranlọwọ ni awọn nẹtiwọọki jinlẹ ti kii ṣe convex. Reti iwo-ara Nesterov siwaju lati wa ni idakẹjẹ wọpọ aiyipada fun awọn oṣiṣẹ ti n lepa yiyara, isọdọkan iduroṣinṣin.
Real-World imuse
Muu nesterov=Asia tootọ ni PyTorch tabi TensorFlow SGD fun yiyara, ikẹkọ didin.
Isopọpọ iyara lori awọn iṣoro rubutudi didan bii ipadasẹhin eekadi iwọn-nla.
Idinku overshoot ati oscillation nigba ikẹkọ awọn nẹtiwọọki ti o jinlẹ nitosi minima didasilẹ.
Ṣiṣe agbara Nadam optimizer, eyiti o ṣafikun iwo Nesterov siwaju si Adam.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Nesterov Accelerated Gradient ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nesterov Accelerated Gradient quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Isọkalẹ Ilọsiwaju
Awọn ibeere ti a beere nigbagbogbo
Kini Nesterov Accelerated Gradient?
Nesterov Accelerated Gradient (NAG) jẹ ọna ijafafa ti ipa ti o yoju ṣaaju ki o to ṣe iṣiro gradient, fifun ni oju-ọna atunṣe niwaju. Nigbagbogbo o ṣajọpọ yiyara ati iduroṣinṣin diẹ sii ju ipa ti kilasika.
Kini imọran asọye ti Nesterov Accelerated Gradient ni akawe si ipa kilasika?
Nesterov kọkọ lo igbesẹ igbiyanju lati de ipo iwo-iwaju, lẹhinna ṣe iṣiro gradient nibẹ, fifun atunṣe ifojusọna.
Oṣuwọn isọdọkan ti o ṣeeṣe wo ni ọna Nesterov ṣaṣeyọri lori awọn iṣoro rubutu ti didan?
Ọna isare Nesterov ṣe deede oṣuwọn 1/k^2 ti o dara julọ fun awọn ibi-afẹde convex didan, yiyara ju 1/k isale gradient.
Tani ni akọkọ ṣe afihan ọna isare isare yii?
Yurii Nesterov ṣe atẹjade ọna isare isare ni ọdun 1983 fun iṣapeye convex.
Kini idi ti iwo-iwaju ṣe iranlọwọ ni itosi minima ti o tẹ?
Nipa ṣiṣe iṣiro iwọn didun nibiti ipa ti nlọ, Nesterov le ṣe atunṣe ifasilẹ ti n bọ ni iṣaaju ju ipa kilasika lọ.
Ni iṣe, bawo ni iye owo iširo ti ipa Nesterov ṣe afiwe si ipa ti kilasika?
Awọn ilana imuse fọọmu ti a tunto nitoribẹẹ Nesterov ṣe afikun idiyele aibikita lori iyara lasan.