Dropout ati Sitokasitik Regularization
Dropout jẹ ẹtan isọdọtun ti o yipada laileto si pipa ida kan ti awọn neuronu lakoko igbesẹ ikẹkọ kọọkan, fi ipa mu nẹtiwọọki lati kọ laiṣe, awọn aṣoju to lagbara.
Akopọ
It became one of the most influential techniques for fighting overfitting in deep learning.
Jin Dive
Ti ṣe afihan nipasẹ ẹgbẹ Hinton ni ayika 2012, sisọ silẹ n ṣalaye ailera bọtini kan ti awọn nẹtiwọki nla: awọn neurons le ṣe atunṣe, kọ ẹkọ lati ṣatunṣe awọn aṣiṣe kọọkan ni awọn ọna ti o ṣiṣẹ nikan lori data ikẹkọ. Lori gbogbo kọja siwaju lakoko ikẹkọ, yiyọ kuro laileto ṣeto iṣelọpọ neuron kọọkan si odo pẹlu iṣeeṣe p (nigbagbogbo 0.5 ni awọn ipele ipon). Nitoripe eyikeyi neuron le parẹ, nẹtiwọọki ko le gbarale awọn ajọṣepọ ẹlẹgẹ ati pe o gbọdọ tan alaye to wulo kọja ọpọlọpọ awọn ẹya. Eyi ṣe bii ikẹkọ akojọpọ nla ti awọn nẹtiwọọki tinrin ti o pin awọn iwuwo. Ni akoko idanwo yiyọkuro ti wa ni pipa ati pe nẹtiwọọki ni kikun ti lo, pẹlu iwọn awọn iṣẹ ṣiṣe ki abajade ti o nireti baamu ikẹkọ. Abajade jẹ apapọ gbogbogbo ti o dara julọ ni idiyele ti ikẹkọ gigun diẹ.
Imọ-imọ-ẹrọ
Lakoko ikẹkọ apakan kọọkan ni a tọju pẹlu iṣeeṣe (1 iyokuro p) nipasẹ iboju-boju alakomeji laileto, nitorinaa awọn nẹtiwọọki oriṣiriṣi oriṣiriṣi ni a ṣe ayẹwo ni gbogbo ipele. Awọn ilana ode oni lo yiyọ kuro: awọn iṣẹ ṣiṣe to ye wa pin nipasẹ (1 iyokuro p) ni akoko ọkọ oju irin, nitorinaa ko nilo iwọnwọn ni itọkasi. Aileto yii nfa ariwo ti o ṣe irẹwẹsi isọdọtun ati isunmọ aropin lori nọmba alapin ti awọn nẹtiwọọki iha iwuwo-pin, ọna ikojọpọ olowo poku.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ọjọ iwaju ti Dropout ati Ilana Sitokasitik
Ni awọn nẹtiwọọki iran convolutional, isọdọtun ipele ti nipo nipo ni ilodiwọn boṣewa, ṣugbọn awọn iyatọ ṣe rere ni ibomiiran: awọn oluyipada waye idawọle si akiyesi ati awọn ipele ifunni siwaju, ati DropPath (ijinle stochastic) silẹ gbogbo awọn bulọọki iyokù. Iyọkuro Monte Carlo, eyiti o jẹ ki yiyọ kuro lọwọ ni itọkasi, ni a lo lati ṣe iṣiro aidaniloju awoṣe. Reti isọdọtun sitokasitik lati jẹ ohun elo irinṣẹ to rọ, ti a ṣe deede fun faaji dipo ohunelo ti o wa titi ẹyọkan.
Real-World imuse
Ṣafikun Layer Dropout pẹlu p ni ayika 0.5 laarin awọn ipele ipon ti aworan kan tabi ikasi ọrọ ni PyTorch tabi Keras
Awọn awoṣe Amunawa ti nbere yiyọ kuro si awọn iwọn akiyesi ati awọn imuṣiṣẹ siwaju kikọ sii lakoko ikẹkọ iṣaaju
Ilọkuro Monte Carlo, nibiti yiyọ kuro duro lori itọkasi lati gbejade awọn iṣiro aidaniloju fun iṣoogun tabi awọn asọtẹlẹ pataki-aabo
Ijinle sitokasitik (DropPath) laileto fo awọn bulọọki iyokù lati ṣe deede awọn nẹtiwọọki ti o jinlẹ pupọ bii ResNets ati awọn oluyipada iran
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Dropout ati Ilana Sitokasitik ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Sitokasitik Gradient Isalẹ pẹlu Akoko
Awọn ibeere ti a beere nigbagbogbo
What is Dropout and Stochastic Regularization?
Dropout jẹ ẹtan isọdọtun ti o yipada laileto si pipa ida kan ti awọn neuronu lakoko igbesẹ ikẹkọ kọọkan, fi ipa mu nẹtiwọọki lati kọ laiṣe, awọn aṣoju to lagbara. O di ọkan ninu awọn ilana ti o ni ipa julọ fun ija overfitting ni ẹkọ ti o jinlẹ.
Kini yiyọ kuro ṣe lakoko ikẹkọ?
Sisọ kuro laileto n sọ neuron kọọkan pẹlu iṣeeṣe p lakoko ikẹkọ, nitorinaa oriṣiriṣi nẹtiwọọki tinrin ti o yatọ ni a lo ni igbesẹ kọọkan.
Kini idi ti yiyọ kuro ni ilọsiwaju gbogbogbo?
Nipa yiyọ awọn sipo laileto, yiyọkuro da awọn neuronu duro lati ṣiṣe awọn ajọṣepọ ẹlẹgẹ ti o ṣiṣẹ nikan lori data ikẹkọ, imudarasi agbara.
Kini yoo ṣẹlẹ si sisọ silẹ ni akoko idanwo (itọkasi)?
Ni itọkasi, nẹtiwọọki ni kikun nṣiṣẹ pẹlu alaabo yiyọ kuro, ati awọn iṣẹ ṣiṣe jẹ iwọn nitori awọn abajade ti a nireti baamu pinpin ikẹkọ.
Oṣuwọn yiyọkuro ti p = 0.5 ni ipele kan tumọ si ni aijọju kini lakoko ikẹkọ?
Pẹlu p = 0.5 neuron kọọkan ni aye 50 ogorun ti a sọ di odo, nitorinaa ni apapọ nipa idaji ti lọ silẹ fun gbigbe siwaju.
Kini isọ silẹ nigbagbogbo ṣe apejuwe bi isunmọ?
Iṣapẹẹrẹ oriṣiriṣi iha-nẹtiwọọki ti o yatọ ni igbesẹ kọọkan jẹ isunmọ aropin lori nọmba alapin ti awọn nẹtiwọọki iwuwo-pin, fọọmu ti akojọpọ olowo poku.