Sitokasitik Gradient Isalẹ pẹlu Akoko
Igbara jẹ tweak kan si irandiwọn gradient ti o ṣajọpọ apapọ ṣiṣiṣẹ ti awọn gradients ti o kọja, jẹ ki iṣapeye yi lọ ni iyara nipasẹ awọn afonifoji ati awọn oscillations didan.
Akopọ
It is one of the most widely used training tricks in deep learning.
Jin Dive
Ilọsile sitochastic gradient (SGD) ṣe imudojuiwọn awọn ayeraye nipasẹ titẹ si ọna itọsọna idakeji iwọn kekere-ipele lọwọlọwọ. Ni awọn oju-ilẹ ti a ṣe bi awọn afonifoji gigun, awọn afonifoji tooro, zig-zags yii kọja awọn odi ti o ga lakoko ti o nra kiri ni ilẹ pẹlẹbẹ. Akoko, ti o gbajumọ nipasẹ Polyak ati nigbamii nipasẹ Rumelhart ati awọn ẹlẹgbẹ, ṣe atunṣe eyi nipa mimujuto iyara iyara kan: igbesẹ kọọkan ṣe idapọmọra tuntun pẹlu ida kan (olusọdipúpọ ipa, nigbagbogbo 0.9) ti iyara iṣaaju. Awọn itọsona iwọntunwọnsi imudara ati mu yara, lakoko ti awọn paati oscillating fagile ni apakan. Apejuwe ti ara jẹ bọọlu ti o wuwo ti o yiyi si isalẹ: o kọ iyara ni awọn itọsọna ti o duro ati pe ko dinku nipasẹ awọn bumps ariwo, fifun ni iyara, isọdọkan didan ju fanila SGD.
Imọ-imọ-ẹrọ
Awọn imudojuiwọn ntọju a ere sisa v ti ni imudojuiwọn bi v = beta * v + gradient, ki o si sile gbe nipa iyokuro eko oṣuwọn igba v. Pẹlu momentum olùsọdipúpọ Beta, awọn munadoko igbese ni a dédé itọsọna ti wa ni amúṣantóbi ti aijọju nipa kan ifosiwewe ti 1/ (1 - beta); ni beta = 0.9 ti o jẹ nipa igba mẹwa. Eyi jẹ iṣiro mathematiki iwọn iṣipopada iwọn lasan ti awọn gradients, didanu ariwo kekere-pipe lakoko titọju itọsọna iran ti o ga julọ.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ọjọ iwaju ti Ilọlẹ Stochastic Gradient pẹlu Ipa
Iṣeduro ṣi wa ni ipilẹ: awọn olupoki aṣamubadọgba bi Adam ati awọn iyatọ rẹ ṣe ifibọ ara-iṣiro akoko-akoko, ati SGD pẹlu ipa tun jẹ ipilẹ-ipilẹ ti o lagbara ti o nigbagbogbo ṣe akopọ dara julọ ju awọn ọna adaṣe lori awọn awoṣe iran nla. Iwadi n tẹsiwaju lori ṣiṣe eto iyara, ibajẹ iwuwo iwuwo, ati ibaraenisepo rẹ pẹlu ikẹkọ ipele ti o tobi pupọ. Reti ipa lati duro si paati mojuto bi awọn iṣapeye ṣe dagbasoke fun awọn awoṣe ti o tobi ju lailai.
Real-World imuse
Ikẹkọ awọn nẹtiwọọki ariyanjiyan jinlẹ bii ResNet, nibiti SGD pẹlu ipa 0.9 jẹ ohunelo boṣewa kan.
Didun awọn iṣiro iwọn didun alariwo nigba lilo awọn ipele kekere-kekere.
Sa kuro ni pẹtẹlẹ agbegbe aijinile nipa gbigbe iyara nipasẹ awọn agbegbe alapin.
Ṣiṣẹ bi ọrọ ipa inu awọn iṣapeye adaṣe gẹgẹbi Adam ati awọn iyatọ RMSprop.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Ilọlẹ Sitokasitik Gradient pẹlu akoko iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Gradient Descent with Momentum quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Isọkalẹ Ilọsiwaju
Awọn ibeere ti a beere nigbagbogbo
What is Stochastic Gradient Descent with Momentum?
Igbara jẹ tweak kan si irandiwọn gradient ti o ṣajọpọ apapọ ṣiṣiṣẹ ti awọn gradients ti o kọja, jẹ ki iṣapeye yi lọ ni iyara nipasẹ awọn afonifoji ati awọn oscillations didan. O jẹ ọkan ninu awọn ẹtan ikẹkọ ti o lo pupọ julọ ni ikẹkọ jinlẹ.
Kini ọrọ ipaniyan n ṣajọpọ lakoko ikẹkọ?
Igbara n ṣetọju fekito iyara ti o jẹ aropin gbigbe iwọn lasan ti awọn gradients aipẹ, didimu itọsọna imudojuiwọn.
Ni gigun gigun, afonifoji dín, iṣoro wo ni SGD itele ti jiya pe ipa naa ṣe iranlọwọ lati ṣatunṣe?
Laisi ipa, SGD oscillates kọja awọn itọsọna ti o ga ti afonifoji kan. Iṣaju ti fagile awọn oscillations wọnyi ati ki o yara pọ si ilẹ afonifoji onírẹlẹ.
Apejuwe ti ara wo ni a maa n lo julọ lati ṣe apejuwe ipa?
Iṣatunṣe jẹ afiwe si bọọlu ti o wuwo ti o kọ iyara ni awọn itọsọna ti o ni ibamu ati pe o kọju iyọkuro lati awọn ariwo ariwo.
Ni aijọju melo ni ipa ti o pọ si igbesẹ ti o munadoko ni itọsọna deede nigbati beta = 0.9?
Okunfa ampilifaya jẹ isunmọ 1/(1 - beta), ati 1/(1 - 0.9) = 10, nitorinaa awọn itọnisọna to ṣe deede yoo yara soke ni aijọju ilọpo mẹwa.
Iru iṣapeye ode oni wo ni o ṣafikun iṣesi-ara-iṣiro-akoko akọkọ?
Adam ṣajọpọ ipa-bi akoko-akọkọ (itumọ) iṣiro ti awọn gradients pẹlu iṣiro iṣẹju-aaya (iyatọ) fun igbelowọn isọdọtun.