Awọn ipilẹ Itọsọna
Sitokasitik Gradient Isalẹ pẹlu Akoko
Igbara jẹ tweak kan si irandiwọn gradient ti o ṣajọpọ apapọ ṣiṣiṣẹ ti awọn gradients ti o kọja, jẹ ki iṣapeye yi lọ ni iyara nipasẹ awọn afonifoji ati awọn oscillations didan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It is one of the most widely used training tricks in deep learning.
Jin Dive
Ilọsile sitochastic gradient (SGD) ṣe imudojuiwọn awọn ayeraye nipasẹ titẹ si ọna itọsọna idakeji iwọn kekere-ipele lọwọlọwọ. Ni awọn oju-ilẹ ti a ṣe bi awọn afonifoji gigun, awọn afonifoji tooro, zig-zags yii kọja awọn odi ti o ga lakoko ti o nra kiri ni ilẹ pẹlẹbẹ. Akoko, ti o gbajumọ nipasẹ Polyak ati nigbamii nipasẹ Rumelhart ati awọn ẹlẹgbẹ, ṣe atunṣe eyi nipa mimujuto iyara iyara kan: igbesẹ kọọkan ṣe idapọmọra tuntun pẹlu ida kan (olusọdipúpọ ipa, nigbagbogbo 0.9) ti iyara iṣaaju. Awọn itọsona iwọntunwọnsi imudara ati mu yara, lakoko ti awọn paati oscillating fagile ni apakan. Apejuwe ti ara jẹ bọọlu ti o wuwo ti o yiyi si isalẹ: o kọ iyara ni awọn itọsọna ti o duro ati pe ko dinku nipasẹ awọn bumps ariwo, fifun ni iyara, isọdọkan didan ju fanila SGD.
Real-World imuse
Ikẹkọ awọn nẹtiwọọki ariyanjiyan jinlẹ bii ResNet, nibiti SGD pẹlu ipa 0.9 jẹ ohunelo boṣewa kan.
Didun awọn iṣiro iwọn didun alariwo nigba lilo awọn ipele kekere-kekere.
Sa kuro ni pẹtẹlẹ agbegbe aijinile nipa gbigbe iyara nipasẹ awọn agbegbe alapin.
Ṣiṣẹ bi ọrọ ipa inu awọn iṣapeye adaṣe gẹgẹbi Adam ati awọn iyatọ RMSprop.
Ọjọ iwaju ti Ilọlẹ Stochastic Gradient pẹlu Ipa
Iṣeduro ṣi wa ni ipilẹ: awọn olupoki aṣamubadọgba bi Adam ati awọn iyatọ rẹ ṣe ifibọ ara-iṣiro akoko-akoko, ati SGD pẹlu ipa tun jẹ ipilẹ-ipilẹ ti o lagbara ti o nigbagbogbo ṣe akopọ dara julọ ju awọn ọna adaṣe lori awọn awoṣe iran nla. Iwadi n tẹsiwaju lori ṣiṣe eto iyara, ibajẹ iwuwo iwuwo, ati ibaraenisepo rẹ pẹlu ikẹkọ ipele ti o tobi pupọ. Reti ipa lati duro si paati mojuto bi awọn iṣapeye ṣe dagbasoke fun awọn awoṣe ti o tobi ju lailai.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Ilọlẹ Sitokasitik Gradient pẹlu akoko iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Stochastic Gradient Descent with Momentum quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Stochastic Gradient Descent with Momentum?
Igbara jẹ tweak kan si irandiwọn gradient ti o ṣajọpọ apapọ ṣiṣiṣẹ ti awọn gradients ti o kọja, jẹ ki iṣapeye yi lọ ni iyara nipasẹ awọn afonifoji ati awọn oscillations didan. O jẹ ọkan ninu awọn ẹtan ikẹkọ ti o lo pupọ julọ ni ikẹkọ jinlẹ.
Kini ọrọ ipaniyan n ṣajọpọ lakoko ikẹkọ?
Igbara n ṣetọju fekito iyara ti o jẹ aropin gbigbe iwọn lasan ti awọn gradients aipẹ, didimu itọsọna imudojuiwọn.
Ni gigun gigun, afonifoji dín, iṣoro wo ni SGD itele ti jiya pe ipa naa ṣe iranlọwọ lati ṣatunṣe?
Laisi ipa, SGD oscillates kọja awọn itọsọna ti o ga ti afonifoji kan. Iṣaju ti fagile awọn oscillations wọnyi ati ki o yara pọ si ilẹ afonifoji onírẹlẹ.
Apejuwe ti ara wo ni a maa n lo julọ lati ṣe apejuwe ipa?
Iṣatunṣe jẹ afiwe si bọọlu ti o wuwo ti o kọ iyara ni awọn itọsọna ti o ni ibamu ati pe o kọju iyọkuro lati awọn ariwo ariwo.
Ni aijọju melo ni ipa ti o pọ si igbesẹ ti o munadoko ni itọsọna deede nigbati beta = 0.9?
Okunfa ampilifaya jẹ isunmọ 1/(1 - beta), ati 1/(1 - 0.9) = 10, nitorinaa awọn itọnisọna to ṣe deede yoo yara soke ni aijọju ilọpo mẹwa.
Iru iṣapeye ode oni wo ni o ṣafikun iṣesi-ara-iṣiro-akoko akọkọ?
Adam ṣajọpọ ipa-bi akoko-akọkọ (itumọ) iṣiro ti awọn gradients pẹlu iṣiro iṣẹju-aaya (iyatọ) fun igbelowọn isọdọtun.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii