Imọ Itọsọna
Iṣeto Oṣuwọn Ẹkọ
Iṣeto oṣuwọn ikẹkọ ṣe iyipada iwọn igbesẹ lakoko ikẹkọ dipo didimu o wa titi.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.
Jin Dive
Oṣuwọn ẹkọ n ṣakoso bii igbesẹ nla ti oluṣapejuwe ṣe gba imudojuiwọn kọọkan. Ju ga ati ikẹkọ diverges; ju kekere ati awọn ti o jijoko tabi olubwon di. Eto iṣeto ṣatunṣe iye yii lori akoko. Ohunelo igbalode ti o wọpọ jẹ igbona ti o tẹle nipasẹ ibajẹ: bẹrẹ nitosi odo ki o gbe soke lori awọn igbesẹ ọgọrun tabi ẹgbẹrun akọkọ (nibẹẹ ni kutukutu, awọn gradients alariwo ko fẹ awọn iwuwo riru), lẹhinna dinku ni diėdiė. Awọn apẹrẹ ibajẹ ti o gbajumọ pẹlu ibajẹ igbesẹ (ju silẹ nipasẹ ipin kan ni awọn akoko ti a ṣeto), ibajẹ ti o pọju, ati annealing cosine, eyiti o ni irọrun tẹle itọda-idaji cosine si isalẹ lati sunmọ odo. Awọn iṣeto Cosine pẹlu imorusi laini jẹ boṣewa bayi fun ikẹkọ awọn awoṣe ede nla, lakoko ti iyipo ati awọn eto imulo ọmọ-ọkan le yara ikẹkọ awoṣe-kekere.
Real-World imuse
Imurufẹ laini pẹlu ibajẹ cosine ti a lo nigba ikẹkọ awọn awoṣe ede transformer.
Ibajẹ igbesẹ ti o ju oṣuwọn ẹkọ silẹ 10x ni awọn akoko 30, 60, ati 90 nigba ikẹkọ awọn kilasika aworan lori ImageNet.
Ilana ọmọ-ọkan ni fast.ai lati ṣe ikẹkọ awoṣe kan si iṣedede to dara ni awọn akoko diẹ pupọ.
Cosine annealing pẹlu gbona atunbere lati lorekore sa didasilẹ adanu minima ati ki o mu gbogboogbo.
Ọjọ iwaju ti Iṣeto Oṣuwọn Ẹkọ
Bi ikẹkọ ṣe n dagba diẹ sii gbowolori, awọn iṣeto ni a ṣe apẹrẹ pẹlu awọn iṣapeye ati awọn iwọn ipele, ati awọn oniwadi ṣe iwadi awọn ofin iwọn lati ṣe asọtẹlẹ oṣuwọn tente oke ti o dara julọ ṣaaju ikẹkọ. Awọn iṣapeye eto ti ko ni eto ti o yọ iwulo lati mu iyipo ibajẹ ni ilosiwaju ti n gba isunmọ, ati isọdọtun, awọn iṣeto ti o ni idari ti o dahun si awọn iha ipadanu laaye le dinku idanwo-ati-aṣiṣe ti o tun jẹ gaba lori ikẹkọ iwọn-nla.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Learning Rate Scheduling quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Learning Rate Scheduling?
Iṣeto oṣuwọn ikẹkọ ṣe iyipada iwọn igbesẹ lakoko ikẹkọ dipo didimu o wa titi. Gbigba ni ẹtọ nigbagbogbo jẹ lefa ti o tobi julọ fun boya awoṣe ṣe apejọ ni iyara ati de deede deede.
Kini idi ti alakoso 'gbona' ni iṣeto oṣuwọn ẹkọ?
Warmup bẹrẹ nitosi odo ati pe o pọ si ki awọn imudojuiwọn kutukutu riru ko ba jẹ ki awoṣe jẹ ki o to yanju awọn iṣiro iṣapeye.
Iṣeto wo ni laisiyonu tẹle ọna-idaji-cosine si isalẹ si iwọn ti o kere ju?
Cosine annealing bajẹ oṣuwọn ẹkọ pẹlu apẹrẹ idaji-cosine, fifun awọn igbesẹ nla ni kutukutu ati awọn igbesẹ kekere nitosi opin.
Kini yoo ṣẹlẹ ti oṣuwọn ikẹkọ ba ti ṣeto ga julọ?
Iwọn giga ti o ga julọ nfa ikọlu, nitorinaa pipadanu naa le agbesoke ni ayika tabi fẹ soke kuku ju yanju.
Kini ibajẹ igbesẹ ṣe si oṣuwọn ẹkọ?
Ibajẹ igbesẹ ṣe isodipupo oṣuwọn nipasẹ ifosiwewe kan (fun apẹẹrẹ, 0.1) ni awọn ami-iṣere ti a yan, ṣiṣẹda apẹrẹ pẹtẹẹsì.
What does a warm restart do to a learning-rate schedule?
Warm restarts begin another learning-rate cycle at a higher value; they do not guarantee escape from a particular loss-landscape feature.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii