Imọ Itọsọna
Awọn Iwọn Ẹkọ Yiyipo
Awọn oṣuwọn ikẹkọ iyipo leralera yi oṣuwọn ikẹkọ lọ si oke ati isalẹ laarin iwọn isalẹ ati oke dipo kiki ibajẹ rẹ.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Yi counterintuitive bouncing le yara soke convergence ati ki o ran awọn optimizer sa didasilẹ agbegbe minima ati gàárì ojuami.
Jin Dive
Ti a dabaa nipasẹ Leslie Smith ni ọdun 2015, awọn oṣuwọn ikẹkọ cyclical (CLR) koju arosinu pe oṣuwọn yẹ ki o dinku lailai. Dipo, o yiyi laarin iwọn ti o kere julọ ati ti o pọju lori nọmba ti o wa titi ti awọn iterations ('ọmọ' kan), nigbagbogbo pẹlu apẹrẹ onigun mẹta. Imọye naa: lorekore igbega oṣuwọn n pese agbara ti nwaye ti o jẹ ki awoṣe fo jade ti talaka, minima didasilẹ ati awọn aaye gàárì, lakoko ti awọn ipele kekere jẹ ki o yanju. Smith tun ṣafihan 'idanwo ibiti LR' - ṣiṣe kukuru kan ti o gba oṣuwọn si oke lakoko wiwo pipadanu - lati wa awọn aala to dara laifọwọyi. Triangular, onigun mẹta-pẹlu ibajẹ, ati eto imulo ọkan-ọmọ olokiki gbogbo wọn kọ lori ero yii.
Real-World imuse
fast.ai ṣe olokiki eto imulo ọmọ-ọkan bi aiyipada fun ikẹkọ awọn kilasika aworan ni iyara si iṣedede giga ni awọn akoko diẹ.
Idanwo ibiti LR n gba oṣuwọn soke ju awọn ipele ọgọọgọrun diẹ lati mu min ati awọn aala to pọju ṣaaju ṣiṣe gidi kan.
Ikojọpọ fọtoyiya n fipamọ aaye ayẹwo awoṣe ni opin ọmọ kọọkan, ṣiṣe akojọpọ ọfẹ lati ṣiṣe ikẹkọ kan.
Ilọlẹ Sitokasitik pẹlu Awọn atunbẹrẹ Gbona (SGDR) lorekore tun oṣuwọn pada si iye giga lati sa fun minima didasilẹ.
Ọjọ iwaju ti Awọn Oṣuwọn Ẹkọ Cyclical
Awọn iṣeto cyclical ati eto imulo ọmọ-ọkan jẹ olokiki fun ikẹkọ iyara lori iran ati awọn iṣẹ ṣiṣe tabular, ati idanwo ibiti LR jẹ ẹtan yiyi boṣewa. Fun awọn awoṣe ede ti o tobi pupọ, awọn iṣeto igbona-plus-cosine jẹ ki o jẹ gaba lori, ṣugbọn oye ti o wa labẹ - pe awọn ilọsiwaju ilana ṣe iranlọwọ sa fun awọn agbegbe buburu ti ala-ilẹ ipadanu - sọfun awọn atunbere gbona (SGDR) ati awọn ọna akojọpọ ti awọn awoṣe aworan ni aaye kekere ti ọmọ kọọkan. Reti itesiwaju irekọja-pollination laarin awọn imọran iyipo ati adaṣe, awọn oluṣeto atunwi ara ẹni.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Cyclical Learning Rates quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini awọn oṣuwọn ẹkọ cyclical?
Awọn oṣuwọn ikẹkọ iyipo leralera yi oṣuwọn ikẹkọ lọ si oke ati isalẹ laarin iwọn isalẹ ati oke dipo kiki ibajẹ rẹ. Bouncing counterintuitive yii le mu isọpọ pọ si ati ṣe iranlọwọ fun oluṣapejuwe salọ minima agbegbe didasilẹ ati awọn aaye gàárì.
Iroye pataki wo ni awọn oṣuwọn ikẹkọ iyipo ni ipenija?
CLR mọọmọ gbe oṣuwọn soke lẹẹkansi ati lẹẹkansi, kọ wiwo ibile pe o gbọdọ jẹ ibajẹ nikan ni monotonically.
What did Smith report for cyclical learning rates on tested classification tasks?
Smith reported improved classification accuracy without tuning and often in fewer iterations on the tested datasets; the paper does not guarantee a specific loss-landscape escape mechanism.
Kini 'idanwo ibiti LR' ṣe?
O nṣiṣẹ ni ṣoki pẹlu oṣuwọn ti nyara ni imurasilẹ; isonu ti tẹ han a oye kere ati ki o pọju lati lo fun awọn iyika.
Ninu eto eto-ọmọ-ọkan, bawo ni iṣesi ṣe n huwa deede si iwọn ẹkọ?
Eto imulo ọkan-ọkan naa dinku ipa nigba ti oṣuwọn ga julọ ati gbe soke bi oṣuwọn ti n lọ silẹ, eyiti o ṣe afikun ipa deede.
During a triangular cyclical learning-rate cycle, how does the rate move between its bounds?
A triangular policy increases the rate during one half-cycle and decreases it during the other half.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii