Up tókànItọsọna atẹle
Bii o ṣe le Lu aisun Jet Pẹlu Eto AI kan
Awọn ohun elo
Imọ Itọsọna
Warmup ati Cosine Annealing Schedule
Warmup rọra gbe oṣuwọn ẹkọ soke lati odo odo ṣaaju ikẹkọ, lẹhinna annealing cosine laisiyonu bajẹ o pada si isalẹ ni atẹle ti tẹ cosine kan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Papọ wọn ṣe iduroṣinṣin ikẹkọ ni kutukutu ati fifa deede ikẹhin ti o dara julọ, eyiti o jẹ idi ti o fẹrẹ to gbogbo oluyipada igbalode ni ikẹkọ ni ọna yii.
Jin Dive
Nigbati ikẹkọ bẹrẹ, awọn iwọn awoṣe jẹ laileto ati awọn gradients le jẹ nla, nitorinaa fifo taara si oṣuwọn ikẹkọ ti o tobi nigbagbogbo nfa awọn spikes pipadanu tabi iyatọ - ni pataki pẹlu awọn iṣapeye adaṣe bi Adam, ti awọn iṣiro iyatọ rẹ jẹ alaigbagbọ ni awọn igbesẹ akọkọ. Warmup ṣe atunṣe eyi nipa jijẹ laini iwọn oṣuwọn lori diẹ ọgọrun si awọn igbesẹ ẹgbẹrun diẹ. Ni kete ti awoṣe ba wa lori ẹsẹ iduroṣinṣin, annealing cosine gba to, ibajẹ oṣuwọn bi 0.5 * (1 + cos(pi * t / T)) ti tente rẹ. Apẹrẹ cosine jẹ ki oṣuwọn ga ni kutukutu fun ilọsiwaju iyara, lẹhinna rọra ni diėdiė ki oluṣapejuwe le yanju sinu o kere ju ti o dara dipo bouncing ni ayika rẹ.
Real-World imuse
GPT-ara ati awọn awoṣe ede ara BERT lo igbona laini lori akọkọ ~1-2% awọn igbesẹ ti o tẹle pẹlu ibajẹ cosine si isunmọ odo.
Awọn oluyipada iran (ViT) ṣe ikẹkọ pẹlu annealing cosine ati imorusi kukuru lati yago fun iyatọ ni kutukutu lori ImageNet.
Awọn Ayirapada Oju famọra nfunni ni `gba_cosine_schedule_with_warmup` gẹgẹbi oluṣeto laini kan fun awọn iṣẹ atunṣe to dara.
Itankale Idurosinsin ati awọn awoṣe itọjade miiran dara-tune pẹlu igbona lati ṣe idiwọ awọn bugbamu gradient nigbati o ba nmu awọn iwọn ti a ti kọkọ mu mu.
Ọjọ iwaju ti Warmup ati Awọn iṣeto Annealing Cosine
Warmup-plus-cosine jẹ ohunelo aiyipada fun awọn awoṣe ede nla, ṣugbọn awọn iyatọ ntan. Warmup-stable-decay (WSD) ṣe itọju oṣuwọn igbagbogbo lẹhinna ibajẹ ni didasilẹ ni ipari, ti o jẹ ki o rọrun lati fa awọn ṣiṣe laisi atunṣe si ipari ti o wa titi. Awọn oniwadi tun n ṣe ikẹkọ idi ti imorusi ṣiṣẹ - sisopo rẹ si ariwo gradient ati ìsépo ilẹ-ipadanu - ati awọn irinṣẹ npọ si gigun igbona adaṣe adaṣe ati oṣuwọn tente oke, idinku idanwo-ati-aṣiṣe afọwọṣe ti o jẹ gaba lori loni.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Warmup and Cosine Annealing Schedules quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Warmup ati Cosine Annealing Schedules?
Warmup rọra gbe oṣuwọn ẹkọ soke lati odo odo ṣaaju ikẹkọ, lẹhinna annealing cosine laisiyonu bajẹ o pada si isalẹ ni atẹle ti tẹ cosine kan. Papọ wọn ṣe iduroṣinṣin ikẹkọ ni kutukutu ati fun pọ ni deede ipari ti o dara julọ, eyiti o jẹ idi ti o fẹrẹ to gbogbo oluyipada igbalode ni ikẹkọ ni ọna yii.
Kini idi akọkọ ti ipele igbona ni ibẹrẹ ikẹkọ?
Bibẹrẹ ni oṣuwọn ikẹkọ nla lori awọn iwuwo laileto le fa awọn spikes pipadanu tabi iyatọ, nitorinaa igbona rampu oṣuwọn ni rọra lati jẹ ki awọn igbesẹ kutukutu jẹ iduroṣinṣin.
Annealing Cosine bajẹ oṣuwọn ẹkọ ni atẹle apẹrẹ wo?
Iwọn naa jẹ iwọn nipasẹ 0.5 * (1 + cos(pi * t / T)), ti n ṣe agbejade oke didan ti o duro ga ni kutukutu ati glides si isunmọ odo ni ipari.
Eyi ti o dara julọ ni anfani paapaa lati igbona nitori awọn iṣiro iyatọ rẹ ko ni igbẹkẹle ni kutukutu?
Awọn iṣiro iyatọ ti nṣiṣẹ Adam da lori awọn ayẹwo diẹ pupọ ni awọn igbesẹ akọkọ, ṣiṣe iwọn igbesẹ ti o munadoko jẹ aiṣedeede - igbona dinku eyi.
Ninu agbekalẹ cosine, kini T ṣe aṣoju?
T jẹ oju-aye lori eyiti oṣuwọn ti bajẹ lati oke rẹ si sunmọ odo; t jẹ igbesẹ lọwọlọwọ laarin agbegbe yẹn.
In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
The guide describes a short linear warmup followed by cosine annealing.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii