Up tókànItọsọna atẹle
Sitokasitik Gradient Isalẹ pẹlu Akoko
Awọn ipilẹ
Awọn ipilẹ Itọsọna
Dropout ati Sitokasitik Regularization
Dropout jẹ ẹtan isọdọtun ti o yipada laileto si pipa ida kan ti awọn neuronu lakoko igbesẹ ikẹkọ kọọkan, fi ipa mu nẹtiwọọki lati kọ laiṣe, awọn aṣoju to lagbara.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It became one of the most influential techniques for fighting overfitting in deep learning.
Jin Dive
Ti ṣe afihan nipasẹ ẹgbẹ Hinton ni ayika 2012, sisọ silẹ n ṣalaye ailera bọtini kan ti awọn nẹtiwọki nla: awọn neurons le ṣe atunṣe, kọ ẹkọ lati ṣatunṣe awọn aṣiṣe kọọkan ni awọn ọna ti o ṣiṣẹ nikan lori data ikẹkọ. Lori gbogbo kọja siwaju lakoko ikẹkọ, yiyọ kuro laileto ṣeto iṣelọpọ neuron kọọkan si odo pẹlu iṣeeṣe p (nigbagbogbo 0.5 ni awọn ipele ipon). Nitoripe eyikeyi neuron le parẹ, nẹtiwọọki ko le gbarale awọn ajọṣepọ ẹlẹgẹ ati pe o gbọdọ tan alaye to wulo kọja ọpọlọpọ awọn ẹya. Eyi ṣe bii ikẹkọ akojọpọ nla ti awọn nẹtiwọọki tinrin ti o pin awọn iwuwo. Ni akoko idanwo yiyọkuro ti wa ni pipa ati pe nẹtiwọọki ni kikun ti lo, pẹlu iwọn awọn iṣẹ ṣiṣe ki abajade ti o nireti baamu ikẹkọ. Abajade jẹ apapọ gbogbogbo ti o dara julọ ni idiyele ti ikẹkọ gigun diẹ.
Real-World imuse
Ṣafikun Layer Dropout pẹlu p ni ayika 0.5 laarin awọn ipele ipon ti aworan kan tabi ikasi ọrọ ni PyTorch tabi Keras
Awọn awoṣe Amunawa ti nbere yiyọ kuro si awọn iwọn akiyesi ati awọn imuṣiṣẹ siwaju kikọ sii lakoko ikẹkọ iṣaaju
Ilọkuro Monte Carlo, nibiti yiyọ kuro duro lori itọkasi lati gbejade awọn iṣiro aidaniloju fun iṣoogun tabi awọn asọtẹlẹ pataki-aabo
Ijinle sitokasitik (DropPath) laileto fo awọn bulọọki iyokù lati ṣe deede awọn nẹtiwọọki ti o jinlẹ pupọ bii ResNets ati awọn oluyipada iran
Ọjọ iwaju ti Dropout ati Ilana Sitokasitik
Ni awọn nẹtiwọọki iran convolutional, isọdọtun ipele ti nipo nipo ni ilodiwọn boṣewa, ṣugbọn awọn iyatọ ṣe rere ni ibomiiran: awọn oluyipada waye idawọle si akiyesi ati awọn ipele ifunni siwaju, ati DropPath (ijinle stochastic) silẹ gbogbo awọn bulọọki iyokù. Iyọkuro Monte Carlo, eyiti o jẹ ki yiyọ kuro lọwọ ni itọkasi, ni a lo lati ṣe iṣiro aidaniloju awoṣe. Reti isọdọtun sitokasitik lati jẹ ohun elo irinṣẹ to rọ, ti a ṣe deede fun faaji dipo ohunelo ti o wa titi ẹyọkan.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Dropout ati Ilana Sitokasitik ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Dropout and Stochastic Regularization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is Dropout and Stochastic Regularization?
Dropout jẹ ẹtan isọdọtun ti o yipada laileto si pipa ida kan ti awọn neuronu lakoko igbesẹ ikẹkọ kọọkan, fi ipa mu nẹtiwọọki lati kọ laiṣe, awọn aṣoju to lagbara. O di ọkan ninu awọn ilana ti o ni ipa julọ fun ija overfitting ni ẹkọ ti o jinlẹ.
Kini yiyọ kuro ṣe lakoko ikẹkọ?
Sisọ kuro laileto n sọ neuron kọọkan pẹlu iṣeeṣe p lakoko ikẹkọ, nitorinaa oriṣiriṣi nẹtiwọọki tinrin ti o yatọ ni a lo ni igbesẹ kọọkan.
Kini idi ti yiyọ kuro ni ilọsiwaju gbogbogbo?
Nipa yiyọ awọn sipo laileto, yiyọkuro da awọn neuronu duro lati ṣiṣe awọn ajọṣepọ ẹlẹgẹ ti o ṣiṣẹ nikan lori data ikẹkọ, imudarasi agbara.
Kini yoo ṣẹlẹ si sisọ silẹ ni akoko idanwo (itọkasi)?
Ni itọkasi, nẹtiwọọki ni kikun nṣiṣẹ pẹlu alaabo yiyọ kuro, ati awọn iṣẹ ṣiṣe jẹ iwọn nitori awọn abajade ti a nireti baamu pinpin ikẹkọ.
Oṣuwọn yiyọkuro ti p = 0.5 ni ipele kan tumọ si ni aijọju kini lakoko ikẹkọ?
Pẹlu p = 0.5 neuron kọọkan ni aye 50 ogorun ti a sọ di odo, nitorinaa ni apapọ nipa idaji ti lọ silẹ fun gbigbe siwaju.
Kini isọ silẹ nigbagbogbo ṣe apejuwe bi isunmọ?
Iṣapẹẹrẹ oriṣiriṣi iha-nẹtiwọọki ti o yatọ ni igbesẹ kọọkan jẹ isunmọ aropin lori nọmba alapin ti awọn nẹtiwọọki iwuwo-pin, fọọmu ti akojọpọ olowo poku.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii