Overfitting na Underfitting
Overfitting ni wakati mwanamitindo anakariri data yake ya mafunzo na kushindwa kwa mifano mpya; kutofaa ni wakati ni rahisi sana kunasa muundo halisi.
Muhtasari
Hitting the sweet spot between them is the central challenge of machine learning.
Dive ya kina
Kila modeli inafaa kwa seti fupi ya mafunzo, lakini lengo ni kufanya vyema kwenye data isiyoonekana. Muundo wa kufaa zaidi hushughulikia kelele na matatizo ya seti ya mafunzo kana kwamba ni ishara halisi: inaweza kupata 99% kwenye data ya mafunzo lakini ikaporomoka hadi 70% kwenye seti ya majaribio. Mfano wa kutofaa ni tatizo kinyume, ngumu sana kunasa muundo msingi, kwa hivyo haifanyi kazi vizuri kwenye mafunzo na data ya majaribio. Pengo kati ya mafunzo na utendaji wa mtihani ni ishara inayojulikana. Upungufu huonyesha kama makosa ya juu kila mahali (upendeleo mkubwa); overfitting inaonyesha kama kosa la chini la mafunzo lakini kosa la mtihani wa juu (tofauti kubwa). Ustadi ni kutambua shida uliyo nayo, kwa sababu marekebisho huvuta pande tofauti.
Ufahamu wa Kiufundi
Kutoshea kupita kiasi na kutofaa ni ncha mbili za biashara ya tofauti ya upendeleo. Upendeleo ni makosa kutoka kwa mawazo yaliyorahisishwa kupita kiasi; tofauti ni hitilafu kutokana na kuwa nyeti sana kwa sampuli maalum ya mafunzo. Mfano mdogo wa mstari una upendeleo wa juu na tofauti ya chini (underfits); mfano mkubwa usio na vikwazo una upendeleo mdogo na tofauti ya juu (overfits). Jumla ya hitilafu inayotarajiwa hutengana kama upendeleo-mraba pamoja na tofauti pamoja na kelele isiyoweza kupunguzwa. Wataalamu hugundua tatizo kwa kulinganisha usahihi wa seti ya mafunzo dhidi ya seti ya uthibitishaji iliyozuiliwa, wakitazama ambapo mikunjo miwili inatofautiana.
Athari za kimkakati
Maamuzi ya wazi zaidi
Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
Cost and budget
Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
Timu na mtiririko wa kazi
Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Mustakabali wa Kutoshea Zaidi na Kutofaa
Dhana hizi zinasalia kuwa za msingi, lakini mitandao mikubwa sana ya neva imefanya picha ya kawaida kuwa ngumu. Miundo ya kisasa inaweza kuwa na vigezo vingi zaidi kuliko pointi za data bado zinaendelea kujumlisha vizuri, mfumo wa kushangaza wakati mwingine huitwa 'kushuka mara mbili' ambapo hitilafu ya jaribio hushuka tena baada ya kilele cha kuzidisha. Utafiti unazidi kuangazia kwa nini miundo iliyoainishwa zaidi ya vigezo hujumlisha, jukumu la urekebishaji kamili katika viboreshaji, na ugunduzi bora wa kiotomatiki wa mabadiliko ya usambazaji. Tarajia uchunguzi bora zaidi ambao huripoti kukithiri kwa uzalishaji kama data ya ulimwengu halisi inavyoondolewa kwenye data ya mafunzo.
Utekelezaji wa Ulimwengu Halisi
Kichujio cha barua taka ambacho hualamisha kila barua pepe iliyo na jina la mtumaji mahususi kwa sababu mtumaji huyo alituma barua taka kwa wingi katika data ya mafunzo, huku akikosa watumaji wapya kabisa (waliopita kiasi).
Muundo wa bei ya nyumba kwa kutumia picha za mraba pekee na kupuuza eneo, vyumba vya kulala, na hali, hivyo hukosa vibaya katika vitongoji vya gharama kubwa (underfitting).
Kiainishi cha picha za kimatibabu ambacho hujifunza kutambua alama ya kichanganuzi cha hospitali badala ya ugonjwa huo, na kushindwa katika hospitali zingine (kufifia kupita kiasi kwa kipengele cha uwongo).
Kupanga hasara ya mafunzo dhidi ya upotezaji wa uthibitishaji wakati wa mafunzo na kuacha wakati upotezaji wa uthibitishaji unapoanza kupanda wakati upotezaji wa mafunzo unaendelea kupungua (kukamata kupindukia mapema).
Hatari & Walinzi
Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Ramani ya Utekelezaji
Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
Hati ambapo Kufifisha kupita kiasi na Kutoshea kunasaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Overfitting and Underfitting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uenezaji wa nyuma
Maswali yanayoulizwa mara kwa mara
What is Overfitting and Underfitting?
Overfitting ni wakati mwanamitindo anakariri data yake ya mafunzo na kushindwa kwa mifano mpya; kutofaa ni wakati ni rahisi sana kunasa muundo halisi. Kufikia mahali pazuri kati yao ndio changamoto kuu ya kujifunza kwa mashine.
Kielelezo kinapata 98% kwenye data yake ya mafunzo lakini 71% pekee kwenye seti ya majaribio iliyositishwa. Ni tatizo gani linalowezekana zaidi?
Pengo kubwa ambapo usahihi wa mafunzo ni wa juu lakini usahihi wa jaribio ni wa chini zaidi ni sahihi ya kawaida ya uwekaji kupita kiasi: kielelezo kinafaa kelele katika data ya mafunzo badala ya muundo wa jumla.
Ni hali gani inaelezea vyema kutofaa?
Muundo wa kutofaa ni rahisi sana kunasa mchoro msingi, kwa hivyo hufanya kazi vibaya kila mahali, ikiwa ni pamoja na kwenye data iliyofunzwa.
Katika biashara ya tofauti ya upendeleo, tofauti kubwa inahusishwa zaidi na matokeo gani?
Tofauti kubwa inamaanisha kuwa modeli hubadilika sana kulingana na data halisi ya mafunzo inayoona, ambayo husababisha kuzidisha. Upendeleo wa juu ni kinyume chake, mwisho uliorahisishwa zaidi.
Mtindo chaguomsingi wa mkopo hutumia tu umri wa mwombaji na hupuuza mapato, deni na historia ya mkopo. Inafanya kazi vibaya kwenye mafunzo na data mpya. Unapaswa kufanya nini?
Utendaji duni kila mahali huashiria kutofaa. Marekebisho ni kuongeza uwezo wa mfano, mara nyingi kwa kuongeza vipengee vya habari, ili iweze kuwakilisha uhusiano wa kweli.
Kwa nini uthibitisho uliozuiliwa au uwekaji wa jaribio ni muhimu ili kugundua kufifia kupita kiasi?
Uwekaji kupita kiasi hauonekani ikiwa utaangalia tu usahihi wa mafunzo. Kutathmini data isiyoonekana hufichua pengo kati ya kukariri na ujanibishaji halisi.