Viwango vya Kujifunza kwa Mzunguko
Viwango vya kujifunza kwa mzunguko mara kwa mara huzungusha kiwango cha kujifunza juu na chini kati ya kiwango cha chini na cha juu badala ya kuoza tu.
Muhtasari
This counterintuitive bouncing can speed up convergence and helps the optimizer escape sharp local minima and saddle points.
Dive ya kina
Iliyopendekezwa na Leslie Smith mnamo 2015, viwango vya kujifunza kwa mzunguko (CLR) vinapinga dhana kwamba kiwango kinapaswa kupungua tu. Badala yake, inazunguka kati ya kiwango cha chini kabisa na cha juu zaidi kinachofungamana na idadi isiyobadilika ya marudio ('mzunguko'), mara nyingi ikiwa na umbo la pembetatu. Intuition: kuongeza kasi mara kwa mara hutoa mlipuko wa nishati ambayo huruhusu kielelezo kuruka kutoka kwenye sehemu duni, zenye ncha kali na kuvuka sehemu za tandiko, huku awamu za chini zikiruhusu kutulia. Smith pia alianzisha 'jaribio la masafa ya LR' - muda mfupi ambao huongeza kiwango cha juu huku akitazama hasara - ili kupata mipaka mizuri kiotomatiki. Pembetatu, pembetatu-na-kuoza, na sera maarufu ya mzunguko mmoja zote zinajengwa juu ya wazo hili.
Ufahamu wa Kiufundi
Sera ya pembetatu kwa mstari huongeza kasi kutoka msingi hadi juu zaidi ya nusu ya mzunguko, kisha inaipunguza tena kwa nusu nyingine. Urefu wa mzunguko kwa kawaida huwekwa kwa marudio ya thamani ya nyakati chache. Sera ya mzunguko mmoja hutumia mzunguko mmoja mrefu: kasi hupanda kisha hushuka chini ya kiwango cha kuanzia, wakati kasi inasonga kinyume - juu wakati kiwango ni cha chini na kinyume chake - ambayo hufanya kazi kama kidhibiti na kuwezesha 'muunganisho wa hali ya juu' kwenye baadhi ya kazi.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Viwango vya Kujifunza kwa Mzunguko
Ratiba za mzunguko na sera ya mzunguko mmoja husalia kuwa maarufu kwa mafunzo ya haraka kuhusu maono na kazi za jedwali, na jaribio la masafa ya LR ni mbinu ya kawaida ya kurekebisha. Kwa miundo mikubwa sana ya lugha, ratiba laini za warmup-plus-cosine huwa zinatawala, lakini maarifa ya kimsingi - ongezeko hilo la kimkakati husaidia kuepuka maeneo mabaya ya mazingira ya upotevu - hufahamisha kuwasha upya kwa joto (SGDR) na kuunganisha mbinu ambazo hupiga mifano katika kiwango cha chini cha kila mzunguko. Tarajia kuendelea kwa uchavushaji kati ya mawazo ya mzunguko na vipanga ratiba vinavyoweza kujirekebisha.
Utekelezaji wa Ulimwengu Halisi
fast.ai ilitangaza sera ya mzunguko mmoja kama chaguo-msingi ya kufunza viainishaji picha kwa haraka kwa usahihi wa juu katika nyakati chache.
Jaribio la masafa ya LR huongeza kiwango cha juu zaidi ya bechi mia chache ili kuchagua mipaka ya chini na ya juu zaidi kabla ya kukimbia halisi.
Uunganishaji wa picha huhifadhi kituo cha ukaguzi mwishoni mwa kila mzunguko, na kutengeneza mkusanyiko usiolipishwa kutoka kwa kipindi kimoja cha mafunzo.
Kushuka kwa Gradient kwa Stochastic na Kuanzisha Upya kwa Joto (SGDR) mara kwa mara huweka upya kasi hadi thamani ya juu ili kuepuka minima kali.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cyclical Learning Rates quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kupanga Kiwango cha Kujifunza
Maswali yanayoulizwa mara kwa mara
What is Cyclical Learning Rates?
Viwango vya kujifunza kwa mzunguko mara kwa mara huzungusha kiwango cha kujifunza juu na chini kati ya kiwango cha chini na cha juu badala ya kuoza tu. Mdundo huu wa kustaajabisha unaweza kuharakisha muunganisho na kusaidia kiboreshaji kutoroka sehemu ndogo za karibu na sehemu za tandiko.
Ni dhana gani ya msingi ambayo viwango vya kujifunza kwa mzunguko vina changamoto?
CLR kwa makusudi huongeza kiwango tena na tena, ikikataa maoni ya jadi kwamba lazima ioze tu.
Kwa nini kuongeza kiwango cha kujifunza kunaweza kusaidia mara kwa mara?
Kupasuka kwa kasi ya juu kunaweza kusukuma kiboreshaji kutoka kwenye sehemu duni, zenye ncha kali au kutoka sehemu za tandiko ili kiweze kupata maeneo bora zaidi.
Je, 'Jaribio la masafa ya LR' hufanya nini?
Inaendesha kwa muda mfupi na kiwango cha kupanda kwa kasi; Curve ya upotezaji inaonyesha kiwango cha chini cha busara na cha juu cha kutumia kwa mizunguko.
Katika sera ya mzunguko mmoja, kasi huwaje kwa kawaida ikilinganishwa na kiwango cha kujifunza?
Sera ya mzunguko mmoja hupunguza kasi huku kiwango kinapoongezeka na kukiinua kadri kiwango kinavyopungua, jambo ambalo huongeza athari ya kuratibu.
'Ukusanyaji wa picha' ni nini katika muktadha wa ratiba za mzunguko?
Kwa sababu kila mzunguko unakuwa katika kiwango cha chini tofauti, kuhifadhi vituo hivyo vya ukaguzi hutoa miundo mbalimbali kutoka kwa mkimbio mmoja unaoweza kuunganishwa.