Isọkalẹ Ilọsiwaju
Ilọlẹ-ilọsiwaju jẹ ọna iṣapeye ti o n gbe awọn iwuwo awoṣe gaan ni isalẹ si aṣiṣe kekere, igbesẹ kekere kan ni akoko kan.
Akopọ
It is how learning happens once backpropagation has computed the gradients.
Jin Dive
Fojuinu pe o duro lori oke kurukuru kan ti o n gbiyanju lati de ipakà afonifoji lakoko ti o kan rilara ite ti o wa labẹ awọn ẹsẹ rẹ. Isọkalẹ gradient ṣe deede eyi fun ala-ilẹ aṣiṣe awoṣe kan. Awọn ojuami gradient ni itọsọna ti ilosoke ti o ga julọ ni pipadanu, nitorina algorithm igbesẹ ni ọna idakeji lati dinku aṣiṣe. Iwọn igbesẹ kọọkan jẹ iṣakoso nipasẹ oṣuwọn ikẹkọ, hyperparameter pataki kan: tobi ju ati awoṣe ti o bori ati awọn iyatọ, kekere pupọ ati awọn jija ikẹkọ. Ni iṣe, awọn awoṣe ko ṣọwọn lo ipilẹ data ni kikun fun igbesẹ kọọkan. Isọkalẹ gradient sitokasitik (SGD) ati awọn iyatọ kekere-kekere ṣe iṣiro iwọn gradient lati awọn ayẹwo laileto kekere, ṣiṣe ikẹkọ ni iyara ati iranlọwọ fun awoṣe lati salọ awọn ẹgẹ aijinile ni oju ipadanu.
Imọ-imọ-ẹrọ
Imudojuiwọn kọọkan tẹle ofin ti o rọrun: iwuwo tuntun dọgbadọgba iwuwo atijọ iyokuro oṣuwọn ikẹkọ awọn akoko gradient. Mini-ipele gradient irandiran oniṣiro ti gradient lori kekere kan ipin data kuku ju gbogbo ṣeto, iṣowo deede deede fun iyara ati iwulo ariwo. Awọn iṣapeye ode oni bii Adam ṣe agbero lori eyi nipa mimubadọgba oṣuwọn ẹkọ ti o munadoko fun paramita ati fifi ipa pọ si, eyiti o ṣajọpọ awọn gradients ti o kọja lati dan awọn oscillation jade ati mu ilọsiwaju pọ si nipasẹ alapin tabi awọn agbegbe ti o dabi ravine ti ala-ilẹ pipadanu.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Didient Sokale
Ilọsile ti itele ti o ṣọwọn jẹ lilo nikan loni; awọn iṣapeye adaṣe bii Adam ati AdamW jẹ gaba lori ikẹkọ iwọn-nla. Iwadi tẹsiwaju lori awọn iṣeto-oṣuwọn ikẹkọ, awọn ilana imunaru, ati awọn ọna aṣẹ-keji ti o lo alaye ìsépo fun isọpọ yiyara. Bi awọn awoṣe ti ndagba, pinpin ati isosile gradient pinpin kọja ẹgbẹẹgbẹrun awọn GPU di pataki, ati awọn ilana lati ṣe iduroṣinṣin awọn imudojuiwọn nla wọnyi jẹ aala ti nṣiṣe lọwọ. Ero pataki, tẹle itọsi odi, yoo tẹsiwaju, ṣugbọn ẹrọ ti o wa ni ayika iwọn igbesẹ ntọju idagbasoke.
Real-World imuse
Sokale aṣiṣe asọtẹlẹ awoṣe ede kan kọja awọn ọkẹ àìmọye ti awọn ami ikẹkọ nipa lilo awọn imudojuiwọn ipele kekere
Ṣiṣatunṣe oṣuwọn ẹkọ ki awoṣe aworan kan ṣajọpọ ni iyara laisi pipadanu pipadanu
Lilo ipa lati yara ikẹkọ ti nẹtiwọọki idanimọ ọrọ di ni gigun, afonifoji pipadanu dín
Lilo Adam lati ṣatunṣe awoṣe kan lori iwe data kekere nibiti awọn oṣuwọn ikẹkọ paramita ṣe iranlọwọ iduroṣinṣin
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Ilọlẹ Gradient ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gradient Descent quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Sitokasitik Gradient Isalẹ pẹlu Akoko
Awọn ibeere ti a beere nigbagbogbo
What is Gradient Descent?
Ilọlẹ-ilọsiwaju jẹ ọna iṣapeye ti o n gbe awọn iwuwo awoṣe gaan ni isalẹ si aṣiṣe kekere, igbesẹ kekere kan ni akoko kan. O jẹ bii ẹkọ ṣe n ṣẹlẹ ni kete ti isọdọtun ti ṣe iṣiro awọn gradients.
Ninu itọsọna wo ni isundi gradient gbe awọn iwuwo lọ?
Iwọn gradient tọka si ilosoke ti o ga julọ ni pipadanu, nitorinaa lati dinku pipadanu awọn igbesẹ algorithm ni idakeji (odi).
Kini iṣakoso oṣuwọn ikẹkọ?
Oṣuwọn ẹkọ ṣe iwọn bawo ni awọn iwuwo ṣe jinna lori imudojuiwọn kọọkan; ju tobi overshoots, ju kekere mu ki ikẹkọ irora lọra.
Bawo ni sitokasitik tabi irandiẹdi-kekere ipele yato si lilo ni kikun dataset?
Ipe kekere ati isunmọ sitokasitik isunmọ gradient ni lilo awọn ayẹwo kekere, eyiti o yara ikẹkọ ati ṣe afikun ariwo iranlọwọ.
Isoro wo ni oṣuwọn ẹkọ ti o tobi ju le fa?
Awọn igbesẹ nla le fo kọja ti o kere julọ ati agbesoke ni ayika tabi fẹ soke, nfa pipadanu pipadanu kuku ju yanju.
Kí ni ìsúnkì ṣe àfikún sí ìsàlẹ̀ ìsàlẹ̀?
Igbara n gbe aropin ṣiṣiṣẹ ti awọn gradients ti o kọja, ṣe iranlọwọ fun oluṣapejuwe gbigbe ni iyara nipasẹ awọn ravine ati awọn oscillations tutu.