Awọn Iwọn Ẹkọ Yiyipo
Awọn oṣuwọn ikẹkọ iyipo leralera yi oṣuwọn ikẹkọ lọ si oke ati isalẹ laarin iwọn isalẹ ati oke dipo kiki ibajẹ rẹ.
Akopọ
Yi counterintuitive bouncing le yara soke convergence ati ki o ran awọn optimizer sa didasilẹ agbegbe minima ati gàárì ojuami.
Jin Dive
Ti a dabaa nipasẹ Leslie Smith ni ọdun 2015, awọn oṣuwọn ikẹkọ cyclical (CLR) koju arosinu pe oṣuwọn yẹ ki o dinku lailai. Dipo, o yiyi laarin iwọn ti o kere julọ ati ti o pọju lori nọmba ti o wa titi ti awọn iterations ('ọmọ' kan), nigbagbogbo pẹlu apẹrẹ onigun mẹta. Imọye naa: lorekore igbega oṣuwọn n pese agbara ti nwaye ti o jẹ ki awoṣe fo jade ti talaka, minima didasilẹ ati awọn aaye gàárì, lakoko ti awọn ipele kekere jẹ ki o yanju. Smith tun ṣafihan 'idanwo ibiti LR' - ṣiṣe kukuru kan ti o gba oṣuwọn si oke lakoko wiwo pipadanu - lati wa awọn aala to dara laifọwọyi. Triangular, onigun mẹta-pẹlu ibajẹ, ati eto imulo ọkan-ọmọ olokiki gbogbo wọn kọ lori ero yii.
Imọ-imọ-ẹrọ
Eto imulo onigun mẹta laini mu oṣuwọn pọ si lati ipilẹ kan si max ju idaji iyipo kan, lẹhinna laini dinku rẹ pada ju idaji miiran lọ. Awọn ipari gigun ti wa ni maa ṣeto si kan diẹ epochs 'tọ ti iterations. Eto imulo ọmọ-ọkan kan lo ọna gigun kan: oṣuwọn dide lẹhinna ṣubu ni isalẹ aaye ibẹrẹ, lakoko ti ipa n lọ ni idakeji - giga nigbati oṣuwọn ba lọ silẹ ati ni idakeji - eyiti o ṣiṣẹ bi oluṣeto deede ati mu ki 'ipapọ-pupọ’ ṣiṣẹ lori diẹ ninu awọn iṣẹ ṣiṣe.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Awọn Oṣuwọn Ẹkọ Cyclical
Awọn iṣeto cyclical ati eto imulo ọmọ-ọkan jẹ olokiki fun ikẹkọ iyara lori iran ati awọn iṣẹ ṣiṣe tabular, ati idanwo ibiti LR jẹ ẹtan yiyi boṣewa. Fun awọn awoṣe ede ti o tobi pupọ, awọn iṣeto igbona-plus-cosine jẹ ki o jẹ gaba lori, ṣugbọn oye ti o wa labẹ - pe awọn ilọsiwaju ilana ṣe iranlọwọ sa fun awọn agbegbe buburu ti ala-ilẹ ipadanu - sọfun awọn atunbere gbona (SGDR) ati awọn ọna akojọpọ ti awọn awoṣe aworan ni aaye kekere ti ọmọ kọọkan. Reti itesiwaju irekọja-pollination laarin awọn imọran iyipo ati adaṣe, awọn oluṣeto atunwi ara ẹni.
Real-World imuse
fast.ai ṣe olokiki eto imulo ọmọ-ọkan bi aiyipada fun ikẹkọ awọn kilasika aworan ni iyara si iṣedede giga ni awọn akoko diẹ.
Idanwo ibiti LR n gba oṣuwọn soke ju awọn ipele ọgọọgọrun diẹ lati mu min ati awọn aala to pọju ṣaaju ṣiṣe gidi kan.
Ikojọpọ fọtoyiya n fipamọ aaye ayẹwo awoṣe ni opin ọmọ kọọkan, ṣiṣe akojọpọ ọfẹ lati ṣiṣe ikẹkọ kan.
Ilọlẹ Sitokasitik pẹlu Awọn atunbẹrẹ Gbona (SGDR) lorekore tun oṣuwọn pada si iye giga lati sa fun minima didasilẹ.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cyclical Learning Rates quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣeto Oṣuwọn Ẹkọ
Awọn ibeere ti a beere nigbagbogbo
Kini awọn oṣuwọn ẹkọ cyclical?
Awọn oṣuwọn ikẹkọ iyipo leralera yi oṣuwọn ikẹkọ lọ si oke ati isalẹ laarin iwọn isalẹ ati oke dipo kiki ibajẹ rẹ. Bouncing counterintuitive yii le mu isọpọ pọ si ati ṣe iranlọwọ fun oluṣapejuwe salọ minima agbegbe didasilẹ ati awọn aaye gàárì.
Iroye pataki wo ni awọn oṣuwọn ikẹkọ iyipo ni ipenija?
CLR mọọmọ gbe oṣuwọn soke lẹẹkansi ati lẹẹkansi, kọ wiwo ibile pe o gbọdọ jẹ ibajẹ nikan ni monotonically.
Kilode ti o le ṣe iranlọwọ lati mu oṣuwọn ikẹkọ pọ si lorekore?
Ti nwaye ti oṣuwọn ti o ga julọ le Titari oluṣapejuwe kuro ninu talaka, minima didasilẹ tabi pipa awọn aaye gàárì, ki o le wa awọn agbegbe to dara julọ.
Kini 'idanwo ibiti LR' ṣe?
O nṣiṣẹ ni ṣoki pẹlu oṣuwọn ti nyara ni imurasilẹ; isonu ti tẹ han a oye kere ati ki o pọju lati lo fun awọn iyika.
Ninu eto eto-ọmọ-ọkan, bawo ni iṣesi ṣe n huwa deede si iwọn ẹkọ?
Eto imulo ọkan-ọkan naa dinku ipa nigba ti oṣuwọn ga julọ ati gbe soke bi oṣuwọn ti n lọ silẹ, eyiti o ṣe afikun ipa deede.
Kini 'ikojọpọ fọtoyiya' ni aaye ti awọn iṣeto iyipo?
Nitoripe ọmọ kọọkan n gbe sinu o kere ju ti o yatọ, fifipamọ awọn aaye ayẹwo wọnyẹn fun ọpọlọpọ awọn awoṣe oniruuru lati ṣiṣe kan ti o le ṣajọpọ.