Overfitting ati Underfitting
Overfitting jẹ nigbati awoṣe kan ṣe akori data ikẹkọ rẹ ti o kuna lori awọn apẹẹrẹ tuntun; underfitting jẹ nigbati o rọrun ju lati mu ilana gidi naa.
Akopọ
Hitting the sweet spot between them is the central challenge of machine learning.
Jin Dive
Gbogbo awoṣe ni ibamu si eto ikẹkọ ipari, ṣugbọn ibi-afẹde ni lati ṣe daradara lori data ti a ko rii. Awoṣe aṣepejuwe ṣe itọju ariwo ati awọn quirks ti ṣeto ikẹkọ bi ẹnipe wọn jẹ ifihan agbara gidi: o le ṣe Dimegilio 99% lori data ikẹkọ sibẹsibẹ ṣubu si 70% lori eto idanwo kan. Awoṣe aiṣedeede jẹ iṣoro idakeji, lile pupọ lati mu eto ti o wa ni ipilẹ, nitorinaa o ṣe aiṣedeede lori ikẹkọ mejeeji ati data idanwo. Aafo laarin ikẹkọ ati iṣẹ ṣiṣe idanwo jẹ ami sọ. Underfitting fihan bi aṣiṣe giga nibi gbogbo (irẹjẹ giga); overfitting fihan bi aṣiṣe ikẹkọ kekere ṣugbọn aṣiṣe idanwo giga (iyatọ giga). Awọn olorijori ti wa ni mọ eyi ti isoro ti o ni, nitori awọn atunṣe fa ni idakeji.
Imọ-imọ-ẹrọ
Overfitting ati underfitting jẹ opin meji ti iṣowo-iyatọ-iyatọ. Irẹjẹ jẹ aṣiṣe lati awọn iṣeduro ti o rọrun; Iyatọ jẹ aṣiṣe lati ni itara pupọ si apẹẹrẹ ikẹkọ pato. Awoṣe laini kekere kan ni irẹjẹ giga ati iyatọ kekere (awọn aiṣedeede); awoṣe ti ko ni idiwọ ti o tobi pupọ ni o ni irẹjẹ kekere ati iyatọ ti o ga julọ (overfits). Lapapọ aṣiṣe ti a reti ni aijọju decomposes bi irẹjẹ-squared pẹlu iyatọ pẹlu ariwo ti ko dinku. Awọn oṣiṣẹ n ṣe awari iṣoro naa nipa ifiwera-ṣeto deede ikẹkọ lodi si eto afọwọsi ti o waye, wiwo ibi ti awọn iha meji ti yapa.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Overfitting ati Underfitting
Awọn imọran wọnyi wa ni ipilẹ, ṣugbọn awọn nẹtiwọọki nkankikan ti o tobi pupọ ti idiju aworan Ayebaye. Awọn awoṣe ode oni le ni awọn aye diẹ sii ju awọn aaye data lọ sibẹsibẹ tun ṣe gbogbogbo daradara, ijọba iyalẹnu nigbakan ti a pe ni 'iran ilọpo meji' nibiti aṣiṣe idanwo ṣubu lẹẹkansii lẹhin tente oke ti o pọ julọ. Iwadi npọ si idojukọ lori idi ti awọn awoṣe ti o ni iwọn-pupọ ṣe gbogbogbo, ipa ti isọdọtun alaiṣedeede ni awọn iṣapeye, ati wiwa adaṣe adaṣe to dara julọ ti iyipada pinpin. Reti awọn iwadii aisan ti o ni oro sii ti o ṣe asia afinju ni iṣelọpọ bi data gidi-aye ti lọ kuro ni data ikẹkọ.
Real-World imuse
Ajọ àwúrúju ti o ṣe asia gbogbo imeeli ti o ni orukọ olufiranṣẹ kan pato nitori olufiranṣẹ yẹn ṣẹlẹ si àwúrúju pupọ ninu data ikẹkọ, ti o padanu awọn spammers tuntun patapata (overfitting).
Awoṣe idiyele ile ni lilo aworan onigun mẹrin nikan ati aibikita ipo, awọn yara iwosun, ati ipo, nitorinaa o padanu pupọ ni awọn agbegbe ti o gbowolori (aiṣedeede).
Aworan alaworan ti iṣoogun ti o kọ ẹkọ lati ṣe awari aami omi scanner ile-iwosan dipo arun na, ti o kuna ni awọn ile-iwosan miiran (fifẹ si ẹya-ara alarinrin).
Pipadanu ikẹkọ idite dipo pipadanu afọwọsi lakoko ikẹkọ ati didaduro nigbati pipadanu afọwọsi bẹrẹ si dide lakoko ti pipadanu ikẹkọ n tẹsiwaju ja bo (mimu overfitting ni kutukutu).
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Overfitting ati Underfitting ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Itankalẹ afẹyinti
Awọn ibeere ti a beere nigbagbogbo
What is Overfitting and Underfitting?
Overfitting jẹ nigbati awoṣe kan ṣe akori data ikẹkọ rẹ ti o kuna lori awọn apẹẹrẹ tuntun; underfitting jẹ nigbati o rọrun ju lati mu ilana gidi naa. Lilu aaye didùn laarin wọn jẹ ipenija aringbungbun ti ẹkọ ẹrọ.
Awoṣe jẹ 98% lori data ikẹkọ rẹ ṣugbọn 71% nikan lori eto idanwo ti o waye. Kini iṣoro ti o ṣeeṣe julọ?
Aafo nla nibiti deede ikẹkọ ti ga ṣugbọn išedede idanwo jẹ kekere pupọ ni ibuwọlu Ayebaye ti fifin: awoṣe ibamu ariwo ni data ikẹkọ dipo apẹẹrẹ gbogbogbo.
Eyi ti ohn ti o dara ju apejuwe underfitting?
Awoṣe aitọ jẹ rọrun pupọ lati mu ilana ti o wa ni abẹlẹ, nitorinaa o ṣe aipe nibi gbogbo, pẹlu lori data ti o ti gba ikẹkọ lori.
Ninu iṣowo-apakan-iyatọ, iyatọ ti o ga julọ ni o ni nkan ṣe pẹlu abajade wo?
Iyatọ giga tumọ si pe awoṣe naa yipada pupọ da lori data ikẹkọ gangan ti o rii, eyiti o yori si apọju. Iyatọ giga jẹ idakeji, ipari ti o rọrun pupọ.
Awoṣe awin-aiyipada kan nlo ọjọ-ori olubẹwẹ nikan ko si foju kọ owo-wiwọle, gbese, ati itan-kirẹditi. O ṣe ko dara lori mejeeji ikẹkọ ati data tuntun. Kini o yẹ ki o ṣe?
Išẹ ti ko dara nibi gbogbo awọn ifihan agbara underfitting. Atunṣe ni lati mu agbara awoṣe pọ si, nigbagbogbo nipa fifi awọn ẹya alaye kun, nitorinaa o le ṣe aṣoju ibatan otitọ.
Kini idi ti afọwọsi-jade tabi ṣeto idanwo ṣe pataki fun wiwa wiwa apọju?
Overfitting jẹ alaihan ti o ba wo deede ikẹkọ nikan. Ṣiṣayẹwo lori awọn data ti a ko rii ṣe afihan aafo laarin akọrin ati isọdọkan tootọ.