Iṣatunṣe
Iṣatunṣe jẹ eto awọn ilana ti o mọọmọ di awoṣe ki o ṣe gbogbogbo si data tuntun dipo kikojọ eto ikẹkọ.
Akopọ
It is the main toolkit for fighting overfitting.
Jin Dive
Ti ko ba ni abojuto, awoṣe to rọ yoo yi ararẹ pada lati baamu gbogbo aaye ninu data ikẹkọ, pẹlu ariwo. Iṣatunṣe titari sẹhin nipa fifi ijiya kan kun tabi ihamọ ti o ṣe ojurere awọn ojutu ti o rọrun. Awọn fọọmu ti o wọpọ julọ ṣafikun ọrọ kan si iṣẹ isonu ti o da lori iwọn awọn iwuwo awoṣe. L2 deede (ibajẹ iwuwo) ṣe ijiya awọn iwuwo nla laisiyonu, idinku wọn si odo ati ṣiṣe awọn awoṣe didan. Iṣe deede L1 ṣe ijiya iye pipe ti awọn iwuwo ati pe o le wakọ diẹ ninu gbogbo ọna si odo, ni imunadoko yiyan ipin awọn ẹya. Ni ikọja awọn ijiya iwuwo, yiyọ kuro laileto pa awọn neurons lakoko ikẹkọ, idaduro ni kutukutu dẹkun ikẹkọ ṣaaju ki o to ṣeto apọju, ati imudara data gbooro eto ikẹkọ ti o munadoko. Ọkọọkan ṣe iṣowo deede ikẹkọ diẹ fun iṣẹ ṣiṣe gidi-aye to dara julọ.
Imọ-imọ-ẹrọ
Pupọ ti isọdọtun ṣe atunṣe ibi-afẹde ti oluṣapejuwe dinku. Dipo ki o kan dinku aṣiṣe asọtẹlẹ, o dinku aṣiṣe pẹlu awọn akoko lambda ijiya lori awọn iwuwo, nibiti lambda n ṣakoso agbara. L2 ṣe afikun iye awọn iwọn onigun mẹrin, iwuri fun ọpọlọpọ awọn iwọn kekere; L1 ṣe afikun apao awọn iwuwo pipe, iwuri sparsity pẹlu awọn odo gangan. Dropout n ṣiṣẹ ni oriṣiriṣi: nipasẹ awọn iṣiṣẹ zeroing laileto ni igbesẹ kọọkan, o ṣe idiwọ awọn neuronu lati ṣe adaṣe ati isunmọ ikẹkọ akojọpọ ti awọn nẹtiwọki abẹlẹ. Gbogbo awọn wọnyi dinku iyatọ ni idiyele ti irẹjẹ ti o pọ si diẹ.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Regularization
Awọn ijiya ti o han gbangba bii L2 ati yiyọ kuro jẹ boṣewa, ṣugbọn akiyesi n yipada si isọdọtun ti ko tọ, ọna ti awọn olupilẹṣẹ bii isunmọ itusilẹ sitokasitik ni idakẹjẹ abosi awọn awoṣe nla si awọn ipinnu gbogbogbo paapaa laisi ijiya ti a ṣafikun. Awọn ilana bii didan aami, idapọmọra, ati imudara data ti o lagbara si jẹ aringbungbun si ikẹkọ iran nla ati awọn awoṣe ede. Reti iwadii diẹ sii si idi ti awọn nẹtiwọọki ti o ju-parameterized ṣe kọju iloju, ati sinu awọn ọna imudọgba ti o ṣatunṣe agbara isọdọtun laifọwọyi lakoko ikẹkọ dipo gbigbekele wiwa afọwọṣe.
Real-World imuse
Ṣafikun ibajẹ iwuwo L2 si iyasọtọ aworan ti o jinlẹ nitorinaa o ṣe gbogbogbo lati ẹgbẹẹgbẹrun awọn fọto ikẹkọ si awọn ti a ko rii.
Lilo isọdọtun L1 ni awoṣe jinomiki lati yan ikawọ ti awọn Jiini ti o sọ asọtẹlẹ abajade gangan ni ẹgbẹẹgbẹrun.
Nbere yiyọ kuro ni nẹtiwọọki iṣeduro nitorina ko ni gbarale lori eyikeyi ifihan olumulo ẹyọkan.
Idaduro ikẹkọ ni kutukutu ni kete ti ipadanu afọwọsi duro ilọsiwaju, botilẹjẹpe pipadanu ikẹkọ le tẹsiwaju silẹ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Iṣatunṣe ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ibajẹ iwuwo ati L2 Regularization
Awọn ibeere ti a beere nigbagbogbo
What is Regularization?
Iṣatunṣe jẹ eto awọn ilana ti o mọọmọ di awoṣe ki o ṣe gbogbogbo si data tuntun dipo kikojọ eto ikẹkọ. O jẹ ohun elo irinṣẹ akọkọ fun ija overfitting.
Kini ibi-afẹde akọkọ ti isọdọtun?
Iṣatunṣe ni imọọmọ ṣe idiwọ awoṣe lati ṣe irẹwẹsi kikọ data ikẹkọ sori, imudara iṣẹ ṣiṣe lori awọn apẹẹrẹ ti a ko rii.
Ilana isọdọtun wo ni o ṣeese julọ lati wakọ diẹ ninu awọn iwuwo deede si odo, yiyan awọn ẹya ni imunadoko?
L1 ṣe ijiya iye pipe ti awọn iwuwo, eyiti o duro lati Titari awọn iwuwo ti ko wulo si odo deede, ṣiṣe yiyan ẹya ara ẹrọ laifọwọyi. L2 dinku awọn iwuwo laisiyonu ṣugbọn ṣọwọn si odo deede.
Bawo ni yiyọ kuro ṣe deede nẹtiwọọki nkankikan lakoko ikẹkọ?
Sisọ silẹ laileto jẹ ida kan ti awọn imuṣiṣẹ ni igbesẹ ikẹkọ kọọkan, idilọwọ awọn neuron lati gbarale ara wọn gale ati isunmọ akojọpọ awọn nẹtiwọọki kekere.
Ninu pipadanu igbagbogbo 'aṣiṣe + lambda × ijiya', kini lambda ti o pọ si ṣe?
Lambda n ṣakoso agbara igbagbogbo. Lambda ti o tobi julọ yoo fun ijiya naa ni ipa diẹ sii, idinku awọn iwuwo diẹ sii ni ibinu si awọn awoṣe ti o rọrun.
Kini idi ti idaduro ni kutukutu ni a le ka bii iru isọdọtun?
Idaduro nigbati iṣẹ afọwọsi duro ni ilọsiwaju ṣe idilọwọ awoṣe lati tẹsiwaju si ijọba nibiti o ti ṣe akori ariwo, pupọ bii awọn olutọpa deede miiran ṣe idiwọn idiju.