Warmup ati Cosine Annealing Schedule
Warmup rọra gbe oṣuwọn ẹkọ soke lati odo odo ṣaaju ikẹkọ, lẹhinna annealing cosine laisiyonu bajẹ o pada si isalẹ ni atẹle ti tẹ cosine kan.
Akopọ
Papọ wọn ṣe iduroṣinṣin ikẹkọ ni kutukutu ati fifa deede ikẹhin ti o dara julọ, eyiti o jẹ idi ti o fẹrẹ to gbogbo oluyipada igbalode ni ikẹkọ ni ọna yii.
Jin Dive
Nigbati ikẹkọ bẹrẹ, awọn iwọn awoṣe jẹ laileto ati awọn gradients le jẹ nla, nitorinaa fifo taara si oṣuwọn ikẹkọ ti o tobi nigbagbogbo nfa awọn spikes pipadanu tabi iyatọ - ni pataki pẹlu awọn iṣapeye adaṣe bi Adam, ti awọn iṣiro iyatọ rẹ jẹ alaigbagbọ ni awọn igbesẹ akọkọ. Warmup ṣe atunṣe eyi nipa jijẹ laini iwọn oṣuwọn lori diẹ ọgọrun si awọn igbesẹ ẹgbẹrun diẹ. Ni kete ti awoṣe ba wa lori ẹsẹ iduroṣinṣin, annealing cosine gba to, ibajẹ oṣuwọn bi 0.5 * (1 + cos(pi * t / T)) ti tente rẹ. Apẹrẹ cosine jẹ ki oṣuwọn ga ni kutukutu fun ilọsiwaju iyara, lẹhinna rọra ni diėdiė ki oluṣapejuwe le yanju sinu o kere ju ti o dara dipo bouncing ni ayika rẹ.
Imọ-imọ-ẹrọ
Annealing Cosine ṣe iwọn oṣuwọn ẹkọ nipasẹ 0.5 * (1 + cos(pi * t / T)), nibiti t jẹ igbesẹ lọwọlọwọ ati T jẹ lapapọ. Eyi n lo akoko pipẹ nitosi iwọn ti o ga julọ, bajẹ ni iyara ni aarin, lẹhinna tẹẹrẹ nitosi odo ni ipari - ko dabi ibajẹ laini taara. Warmup jẹ deede laini ati kukuru. Apapọ ti tẹ dabi oke didan: oke, Plateau-ish, lẹhinna glide rirọ si fere odo.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Warmup ati Awọn iṣeto Annealing Cosine
Warmup-plus-cosine jẹ ohunelo aiyipada fun awọn awoṣe ede nla, ṣugbọn awọn iyatọ ntan. Warmup-stable-decay (WSD) ṣe itọju oṣuwọn igbagbogbo lẹhinna ibajẹ ni didasilẹ ni ipari, ti o jẹ ki o rọrun lati fa awọn ṣiṣe laisi atunṣe si ipari ti o wa titi. Awọn oniwadi tun n ṣe ikẹkọ idi ti imorusi ṣiṣẹ - sisopo rẹ si ariwo gradient ati ìsépo ilẹ-ipadanu - ati awọn irinṣẹ npọ si gigun igbona adaṣe adaṣe ati oṣuwọn tente oke, idinku idanwo-ati-aṣiṣe afọwọṣe ti o jẹ gaba lori loni.
Real-World imuse
GPT-ara ati awọn awoṣe ede ara BERT lo igbona laini lori akọkọ ~1-2% awọn igbesẹ ti o tẹle pẹlu ibajẹ cosine si isunmọ odo.
Awọn oluyipada iran (ViT) ṣe ikẹkọ pẹlu annealing cosine ati imorusi kukuru lati yago fun iyatọ ni kutukutu lori ImageNet.
Awọn Ayirapada Oju famọra nfunni ni `gba_cosine_schedule_with_warmup` gẹgẹbi oluṣeto laini kan fun awọn iṣẹ atunṣe to dara.
Itankale Idurosinsin ati awọn awoṣe itọjade miiran dara-tune pẹlu igbona lati ṣe idiwọ awọn bugbamu gradient nigbati o ba nmu awọn iwọn ti a ti kọkọ mu mu.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Warmup and Cosine Annealing Schedules quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Din-din-dinku
Awọn ibeere ti a beere nigbagbogbo
Kini Warmup ati Cosine Annealing Schedules?
Warmup rọra gbe oṣuwọn ẹkọ soke lati odo odo ṣaaju ikẹkọ, lẹhinna annealing cosine laisiyonu bajẹ o pada si isalẹ ni atẹle ti tẹ cosine kan. Papọ wọn ṣe iduroṣinṣin ikẹkọ ni kutukutu ati fun pọ ni deede ipari ti o dara julọ, eyiti o jẹ idi ti o fẹrẹ to gbogbo oluyipada igbalode ni ikẹkọ ni ọna yii.
Kini idi akọkọ ti ipele igbona ni ibẹrẹ ikẹkọ?
Bibẹrẹ ni oṣuwọn ikẹkọ nla lori awọn iwuwo laileto le fa awọn spikes pipadanu tabi iyatọ, nitorinaa igbona rampu oṣuwọn ni rọra lati jẹ ki awọn igbesẹ kutukutu jẹ iduroṣinṣin.
Annealing Cosine bajẹ oṣuwọn ẹkọ ni atẹle apẹrẹ wo?
Iwọn naa jẹ iwọn nipasẹ 0.5 * (1 + cos(pi * t / T)), ti n ṣe agbejade oke didan ti o duro ga ni kutukutu ati glides si isunmọ odo ni ipari.
Eyi ti o dara julọ ni anfani paapaa lati igbona nitori awọn iṣiro iyatọ rẹ ko ni igbẹkẹle ni kutukutu?
Awọn iṣiro iyatọ ti nṣiṣẹ Adam da lori awọn ayẹwo diẹ pupọ ni awọn igbesẹ akọkọ, ṣiṣe iwọn igbesẹ ti o munadoko jẹ aiṣedeede - igbona dinku eyi.
Ninu agbekalẹ cosine, kini T ṣe aṣoju?
T jẹ oju-aye lori eyiti oṣuwọn ti bajẹ lati oke rẹ si sunmọ odo; t jẹ igbesẹ lọwọlọwọ laarin agbegbe yẹn.
Kini anfani kan ti iyatọ igbona-iduroṣinṣin-ibajẹ (WSD) lori kosine gigun-ipari?
WSD ni oṣuwọn igbagbogbo lẹhinna bajẹ ni ipari, nitorinaa o le jẹ ki ipele iduroṣinṣin lọ gun ki o pinnu aaye iduro nigbamii.