InayofuataMwongozo unaofuata
Kupanga Kiwango cha Kujifunza
Kiufundi
MWONGOZO wa Kiufundi
Viwango vya Kujifunza kwa Mzunguko
Viwango vya kujifunza kwa mzunguko mara kwa mara huzungusha kiwango cha kujifunza juu na chini kati ya kiwango cha chini na cha juu badala ya kuoza tu.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
This counterintuitive bouncing can speed up convergence and helps the optimizer escape sharp local minima and saddle points.
Dive ya kina
Iliyopendekezwa na Leslie Smith mnamo 2015, viwango vya kujifunza kwa mzunguko (CLR) vinapinga dhana kwamba kiwango kinapaswa kupungua tu. Badala yake, inazunguka kati ya kiwango cha chini kabisa na cha juu zaidi kinachofungamana na idadi isiyobadilika ya marudio ('mzunguko'), mara nyingi ikiwa na umbo la pembetatu. Intuition: kuongeza kasi mara kwa mara hutoa mlipuko wa nishati ambayo huruhusu kielelezo kuruka kutoka kwenye sehemu duni, zenye ncha kali na kuvuka sehemu za tandiko, huku awamu za chini zikiruhusu kutulia. Smith pia alianzisha 'jaribio la masafa ya LR' - muda mfupi ambao huongeza kiwango cha juu huku akitazama hasara - ili kupata mipaka mizuri kiotomatiki. Pembetatu, pembetatu-na-kuoza, na sera maarufu ya mzunguko mmoja zote zinajengwa juu ya wazo hili.
Utekelezaji wa Ulimwengu Halisi
fast.ai ilitangaza sera ya mzunguko mmoja kama chaguo-msingi ya kufunza viainishaji picha kwa haraka kwa usahihi wa juu katika nyakati chache.
Jaribio la masafa ya LR huongeza kiwango cha juu zaidi ya bechi mia chache ili kuchagua mipaka ya chini na ya juu zaidi kabla ya kukimbia halisi.
Uunganishaji wa picha huhifadhi kituo cha ukaguzi mwishoni mwa kila mzunguko, na kutengeneza mkusanyiko usiolipishwa kutoka kwa kipindi kimoja cha mafunzo.
Kushuka kwa Gradient kwa Stochastic na Kuanzisha Upya kwa Joto (SGDR) mara kwa mara huweka upya kasi hadi thamani ya juu ili kuepuka minima kali.
Mustakabali wa Viwango vya Kujifunza kwa Mzunguko
Ratiba za mzunguko na sera ya mzunguko mmoja husalia kuwa maarufu kwa mafunzo ya haraka kuhusu maono na kazi za jedwali, na jaribio la masafa ya LR ni mbinu ya kawaida ya kurekebisha. Kwa miundo mikubwa sana ya lugha, ratiba laini za warmup-plus-cosine huwa zinatawala, lakini maarifa ya kimsingi - ongezeko hilo la kimkakati husaidia kuepuka maeneo mabaya ya mazingira ya upotevu - hufahamisha kuwasha upya kwa joto (SGDR) na kuunganisha mbinu ambazo hupiga mifano katika kiwango cha chini cha kila mzunguko. Tarajia kuendelea kwa uchavushaji kati ya mawazo ya mzunguko na vipanga ratiba vinavyoweza kujirekebisha.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Cyclical Learning Rates quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Cyclical Learning Rates?
Viwango vya kujifunza kwa mzunguko mara kwa mara huzungusha kiwango cha kujifunza juu na chini kati ya kiwango cha chini na cha juu badala ya kuoza tu. Mdundo huu wa kustaajabisha unaweza kuharakisha muunganisho na kusaidia kiboreshaji kutoroka sehemu ndogo za karibu na sehemu za tandiko.
Ni dhana gani ya msingi ambayo viwango vya kujifunza kwa mzunguko vina changamoto?
CLR kwa makusudi huongeza kiwango tena na tena, ikikataa maoni ya jadi kwamba lazima ioze tu.
What did Smith report for cyclical learning rates on tested classification tasks?
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
Je, 'Jaribio la masafa ya LR' hufanya nini?
Inaendesha kwa muda mfupi na kiwango cha kupanda kwa kasi; Curve ya upotezaji inaonyesha kiwango cha chini cha busara na cha juu cha kutumia kwa mizunguko.
Katika sera ya mzunguko mmoja, kasi huwaje kwa kawaida ikilinganishwa na kiwango cha kujifunza?
Sera ya mzunguko mmoja hupunguza kasi huku kiwango kinapoongezeka na kukiinua kadri kiwango kinavyopungua, jambo ambalo huongeza athari ya kuratibu.
During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
A triangular policy increases the rate during one half-cycle and decreases it during the other half.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii