Iṣeto Oṣuwọn Ẹkọ
Iṣeto oṣuwọn ikẹkọ ṣe iyipada iwọn igbesẹ lakoko ikẹkọ dipo didimu o wa titi.
Akopọ
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
Jin Dive
Oṣuwọn ẹkọ n ṣakoso bii igbesẹ nla ti oluṣapejuwe ṣe gba imudojuiwọn kọọkan. Ju ga ati ikẹkọ diverges; ju kekere ati awọn ti o jijoko tabi olubwon di. Eto iṣeto ṣatunṣe iye yii lori akoko. Ohunelo igbalode ti o wọpọ jẹ igbona ti o tẹle nipasẹ ibajẹ: bẹrẹ nitosi odo ki o gbe soke lori awọn igbesẹ ọgọrun tabi ẹgbẹrun akọkọ (nibẹẹ ni kutukutu, awọn gradients alariwo ko fẹ awọn iwuwo riru), lẹhinna dinku ni diėdiė. Awọn apẹrẹ ibajẹ ti o gbajumọ pẹlu ibajẹ igbesẹ (ju silẹ nipasẹ ipin kan ni awọn akoko ti a ṣeto), ibajẹ ti o pọju, ati annealing cosine, eyiti o ni irọrun tẹle itọda-idaji cosine si isalẹ lati sunmọ odo. Awọn iṣeto Cosine pẹlu imorusi laini jẹ boṣewa bayi fun ikẹkọ awọn awoṣe ede nla, lakoko ti iyipo ati awọn eto imulo ọmọ-ọkan le yara ikẹkọ awoṣe-kekere.
Imọ-imọ-ẹrọ
Awọn ọrọ igbona nitori awọn iṣapeye adaṣe bi Adam ni awọn iṣiro iṣẹju-aaya ti ko ni igbẹkẹle ni awọn igbesẹ akọkọ; Oṣuwọn ẹkọ kekere kan yago fun idinku awọn iwuwo ṣaaju ki awọn iṣiro yẹn yanju. Cosine annealing tosaaju lr = lr_min + 0.5 * (lr_max - lr_min) * (1 + cos(pi * t / T)), fifun ni ilọsiwaju ni kutukutu ati kekere, awọn igbesẹ atunṣe daradara nitosi opin. Diẹ ninu awọn iṣeto ṣafikun awọn atunbẹrẹ gbona, fo oṣuwọn pada soke lati sa fun minima didasilẹ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Iṣeto Oṣuwọn Ẹkọ
Bi ikẹkọ ṣe n dagba diẹ sii gbowolori, awọn iṣeto ni a ṣe apẹrẹ pẹlu awọn iṣapeye ati awọn iwọn ipele, ati awọn oniwadi ṣe iwadi awọn ofin iwọn lati ṣe asọtẹlẹ oṣuwọn tente oke ti o dara julọ ṣaaju ikẹkọ. Awọn iṣapeye eto ti ko ni eto ti o yọ iwulo lati mu iyipo ibajẹ ni ilosiwaju ti n gba isunmọ, ati isọdọtun, awọn iṣeto ti o ni idari ti o dahun si awọn iha ipadanu laaye le dinku idanwo-ati-aṣiṣe ti o tun jẹ gaba lori ikẹkọ iwọn-nla.
Real-World imuse
Imurufẹ laini pẹlu ibajẹ cosine ti a lo nigba ikẹkọ awọn awoṣe ede transformer.
Ibajẹ igbesẹ ti o ju oṣuwọn ẹkọ silẹ 10x ni awọn akoko 30, 60, ati 90 nigba ikẹkọ awọn kilasika aworan lori ImageNet.
Ilana ọmọ-ọkan ni fast.ai lati ṣe ikẹkọ awoṣe kan si iṣedede to dara ni awọn akoko diẹ pupọ.
Cosine annealing pẹlu gbona atunbere lati lorekore sa didasilẹ adanu minima ati ki o mu gbogboogbo.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Learning Rate Scheduling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn Iwọn Ẹkọ Yiyipo
Awọn ibeere ti a beere nigbagbogbo
What is Learning Rate Scheduling?
Iṣeto oṣuwọn ikẹkọ ṣe iyipada iwọn igbesẹ lakoko ikẹkọ dipo didimu o wa titi. Gbigba ni ẹtọ nigbagbogbo jẹ lefa ti o tobi julọ fun boya awoṣe ṣe apejọ ni iyara ati de deede deede.
Kini idi ti alakoso 'gbona' ni iṣeto oṣuwọn ẹkọ?
Warmup bẹrẹ nitosi odo ati pe o pọ si ki awọn imudojuiwọn kutukutu riru ko ba jẹ ki awoṣe jẹ ki o to yanju awọn iṣiro iṣapeye.
Iṣeto wo ni laisiyonu tẹle ọna-idaji-cosine si isalẹ si iwọn ti o kere ju?
Cosine annealing bajẹ oṣuwọn ẹkọ pẹlu apẹrẹ idaji-cosine, fifun awọn igbesẹ nla ni kutukutu ati awọn igbesẹ kekere nitosi opin.
Kini yoo ṣẹlẹ ti oṣuwọn ikẹkọ ba ti ṣeto ga julọ?
Iwọn giga ti o ga julọ nfa ikọlu, nitorinaa pipadanu naa le agbesoke ni ayika tabi fẹ soke kuku ju yanju.
Kini ibajẹ igbesẹ ṣe si oṣuwọn ẹkọ?
Ibajẹ igbesẹ ṣe isodipupo oṣuwọn nipasẹ ifosiwewe kan (fun apẹẹrẹ, 0.1) ni awọn ami-iṣere ti a yan, ṣiṣẹda apẹrẹ pẹtẹẹsì.
Kini idi ti a fi ṣe afikun 'awọn atunbẹrẹ gbona' nigba miiran si iṣeto kan?
Awọn atunbere igbona fo oṣuwọn ikẹkọ pada ni awọn aaye arin, ṣe iranlọwọ fun oluṣapejuwe lati lọ kuro ni minima dín ati ṣawari awọn ojutu to dara julọ.