MUONGOZO wa Misingi
Kushuka kwa Gradient ya Stochastic kwa Kasi
Momentum ni tweak kwa mteremko wa kushuka ambao hukusanya wastani wa mbio za gradient zilizopita, kuruhusu uboreshaji uende haraka kupitia mabonde na unyevu wa kuzunguka.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It is one of the most widely used training tricks in deep learning.
Dive ya kina
Mteremko wa kushuka kwa kiwango cha stochastiki (SGD) husasisha vigezo kwa kukanyaga uelekeo ulio kinyume na upinde wa mvua wa sasa wa bechi ndogo. Katika mandhari yenye umbo la mifereji mirefu na nyembamba, zigza hii huvuka kuta zenye mwinuko huku ikitambaa kwenye sakafu ya upole. Momentum, iliyoangaziwa na Polyak na baadaye na Rumelhart na wenzake, hurekebisha hili kwa kudumisha vekta ya kasi: kila hatua huchanganya kipenyo kipya na sehemu (kigeuzi cha kasi, mara nyingi 0.9) cha kasi ya awali. Maelekezo thabiti ya upinde rangi huimarisha na kuongeza kasi, huku vijenzi vinavyozunguka vikighairi kwa kiasi. Ulinganisho wa kimaumbile ni mpira mzito unaoviringika kuteremka: huunda kasi katika mwelekeo thabiti na haugeukiwi sana na matuta yenye kelele, na kutoa muunganiko wa haraka, laini kuliko vanilla SGD.
Utekelezaji wa Ulimwengu Halisi
Kutoa mafunzo kwa mitandao ya kina kama ResNet, ambapo SGD yenye kasi 0.9 ni kichocheo cha kawaida.
Makadirio ya upinde rangi yenye kelele unapotumia bechi ndogo ndogo.
Kukimbia nyanda za ndani zisizo na kina kwa kubeba kasi kupitia maeneo tambarare.
Inatumika kama neno la kasi ndani ya viboreshaji vinavyobadilika kama vile vibadala vya Adam na RMSprop.
Mustakabali wa Kushuka kwa Gradient ya Stochastic kwa Kasi
Kasi inasalia kuwa ya msingi: viboreshaji vinavyobadilika kama vile Adam na vibadala vyake hupachika makadirio ya dakika ya kwanza ya mtindo wa kasi, na SGD yenye kasi bado ni msingi thabiti ambao mara nyingi huleta jumla bora kuliko mbinu zinazobadilika kwenye miundo mikubwa ya kuona. Utafiti unaendelea kuhusu upangaji wa kasi, uozo wa uzito uliotenganishwa, na mwingiliano wake na mafunzo makubwa ya bechi. Tarajia kasi ya kusalia kipengee kikuu kadiri viboreshaji navyobadilika kwa miundo mikubwa zaidi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
- Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
- Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Jihadharini na
- Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
- Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
- Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Hatua zinazofuata
- Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
- Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
- Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
- Hati ambapo Kushuka kwa Gradient ya Stochastic na Momentum husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Stochastic Gradient Descent with Momentum quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Stochastic Gradient Descent with Momentum?
Momentum ni tweak kwa mteremko wa kushuka ambao hukusanya wastani wa mbio za gradient zilizopita, kuruhusu uboreshaji uende haraka kupitia mabonde na unyevu wa kuzunguka. Ni mojawapo ya mbinu za mafunzo zinazotumiwa sana katika kujifunza kwa kina.
Je, muda wa kasi hujilimbikiza wakati wa mafunzo?
Momentum hudumisha vekta ya kasi ambayo ni wastani wa kusogea wenye uzani wa juu zaidi wa gradient za hivi majuzi, na kulainisha mwelekeo wa sasisho.
Katika bonde refu, jembamba, SGD inakabiliwa na tatizo gani ambalo kasi husaidia kurekebisha?
Bila kasi, SGD inazunguka kuelekea miinuko mikali ya bonde. Momentum hughairi miondoko hii na kuongeza kasi kwenye sakafu ya bonde laini.
Ni mlinganisho gani wa kimwili unaotumiwa mara nyingi kuelezea kasi?
Kasi inalinganishwa na mpira mzito unaoongeza kasi katika uelekeo thabiti na kustahimili kukengeuka kutoka kwa matuta yenye kelele.
Takriban kasi inakuza hatua madhubuti katika mwelekeo thabiti wakati beta = 0.9 ni kiasi gani?
Kipengele cha ukuzaji ni takriban 1/(1 - beta), na 1/(1 - 0.9) = 10, kwa hivyo maelekezo thabiti yanaharakishwa takriban mara kumi.
Ni kiboreshaji kipi cha kisasa kinachojumuisha makadirio ya dakika ya kwanza ya mtindo wa kasi?
Adam anachanganya makadirio ya kasi kama ya dakika ya kwanza (wastani) ya kipenyo na makadirio ya dakika ya pili (afauti) kwa kuongeza badiliko.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii