Awọn ipilẹ Itọsọna
Nesterov Accelerated Gradient
Nesterov Accelerated Gradient (NAG) jẹ ọna ijafafa ti ipa ti o yoju ṣaaju ki o to ṣe iṣiro gradient, fifun ni oju-ọna atunṣe niwaju.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Nigbagbogbo o ni iyara ati iduroṣinṣin diẹ sii ju agbara kilasika lọ.
Jin Dive
Agbara kilasika ṣe iṣiro gradient ni ipo lọwọlọwọ, lẹhinna ṣafikun iyara ikojọpọ. Imọye Nesterov, lati iṣẹ Yurii Nesterov ni ọdun 1983 lori imudara convex imudara, ni lati kọkọ gbe igbesẹ ipa si aaye wiwa-iwaju ki o ṣe iṣiro gradient nibẹ. Eyi jẹ ki oluṣapejuwe nireti ibi ti ipa ti n gbe ati ki o lo atunṣe ṣaaju ki o to bori, bii olusare ti o rii ohun tẹ siwaju ati ṣatunṣe ni kutukutu kuku ju lẹhin naa. Fun awọn iṣoro rirọrun didan Ọna Nesterov ṣe aṣeyọri oṣuwọn isọdọkan ti o dara julọ ti aṣẹ 1/k^2 ni nọmba awọn igbesẹ, ilọsiwaju ti o le ṣe afihan lori isunmọ gradient itele ti 1/k. Ninu ẹkọ ti o jinlẹ o funni bi aṣayan ti o rọrun ni ọpọlọpọ awọn ilana ati nigbagbogbo n so eso ni iyara diẹ, ikẹkọ oscillatory ti o kere ju ipa-ọna boṣewa ni iye-iye kanna.
Real-World imuse
Muu nesterov=Asia tootọ ni PyTorch tabi TensorFlow SGD fun yiyara, ikẹkọ didin.
Isopọpọ iyara lori awọn iṣoro rubutudi didan bii ipadasẹhin eekadi iwọn-nla.
Idinku overshoot ati oscillation nigba ikẹkọ awọn nẹtiwọọki ti o jinlẹ nitosi minima didasilẹ.
Ṣiṣe agbara Nadam optimizer, eyiti o ṣafikun iwo Nesterov siwaju si Adam.
Ojo iwaju ti Nesterov Accelerated Gradient
Agbara Nesterov jẹ asia ti a ṣe sinu awọn iṣapeye kọja PyTorch, TensorFlow, ati awọn miiran, ati iyatọ Nesterov kan ti Adam (Nadam) dapọ iwo-iwaju pẹlu iwọn imudara. Ilana isare rẹ tẹsiwaju lati ṣe iwuri fun iwadii sinu awọn ọna iyara, awọn eto atunbere, ati itupalẹ idi ti isare ṣe iranlọwọ ni awọn nẹtiwọọki jinlẹ ti kii ṣe convex. Reti iwo-ara Nesterov siwaju lati wa ni idakẹjẹ wọpọ aiyipada fun awọn oṣiṣẹ ti n lepa yiyara, isọdọkan iduroṣinṣin.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Nesterov Accelerated Gradient ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Nesterov Accelerated Gradient quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Nesterov Accelerated Gradient?
Nesterov Accelerated Gradient (NAG) jẹ ọna ijafafa ti ipa ti o yoju ṣaaju ki o to ṣe iṣiro gradient, fifun ni oju-ọna atunṣe niwaju. Nigbagbogbo o ṣajọpọ yiyara ati iduroṣinṣin diẹ sii ju ipa ti kilasika.
Kini imọran asọye ti Nesterov Accelerated Gradient ni akawe si ipa kilasika?
Nesterov kọkọ lo igbesẹ igbiyanju lati de ipo iwo-iwaju, lẹhinna ṣe iṣiro gradient nibẹ, fifun atunṣe ifojusọna.
Oṣuwọn isọdọkan ti o ṣeeṣe wo ni ọna Nesterov ṣaṣeyọri lori awọn iṣoro rubutu ti didan?
Ọna isare Nesterov ṣe deede oṣuwọn 1/k^2 ti o dara julọ fun awọn ibi-afẹde convex didan, yiyara ju 1/k isale gradient.
Tani ni akọkọ ṣe afihan ọna isare isare yii?
Yurii Nesterov ṣe atẹjade ọna isare isare ni ọdun 1983 fun iṣapeye convex.
Kini idi ti iwo-iwaju ṣe iranlọwọ ni itosi minima ti o tẹ?
Nipa ṣiṣe iṣiro iwọn didun nibiti ipa ti nlọ, Nesterov le ṣe atunṣe ifasilẹ ti n bọ ni iṣaaju ju ipa kilasika lọ.
Ni iṣe, bawo ni iye owo iširo ti ipa Nesterov ṣe afiwe si ipa ti kilasika?
Awọn ilana imuse fọọmu ti a tunto nitoribẹẹ Nesterov ṣe afikun idiyele aibikita lori iyara lasan.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii