Kuacha na Udhibiti wa Stochastic
Kuacha ni mbinu ya kuhalalisha ambayo huzima kwa nasibu sehemu ya niuroni wakati wa kila hatua ya mafunzo, na hivyo kulazimisha mtandao kuunda uwasilishaji usio na maana na thabiti.
Muhtasari
It became one of the most influential techniques for fighting overfitting in deep learning.
Dive ya kina
Ilianzishwa na kundi la Hinton karibu mwaka wa 2012, kuacha shule kunashughulikia udhaifu mkuu wa mitandao mikubwa: nyuroni zinaweza kukabiliana, kujifunza kurekebisha makosa ya kila mmoja kwa njia zinazofanya kazi tu kwenye data ya mafunzo. Katika kila kupita mbele wakati wa mafunzo, kuacha kwa nasibu huweka pato la kila neuroni hadi sifuri na uwezekano fulani p (mara nyingi 0.5 katika tabaka mnene). Kwa sababu neuroni yoyote inaweza kutoweka, mtandao hauwezi kuegemea ubia dhaifu na lazima ueneze habari muhimu katika vitengo vingi. Hii hufanya kama kufundisha mkusanyiko mkubwa wa mitandao nyembamba inayoshiriki uzani. Wakati wa kujaribu kuacha shule huzimwa na mtandao kamili unatumiwa, uwezeshaji ukiwa umepunguzwa ili matokeo yanayotarajiwa yalingane na mafunzo. Matokeo yake ni ujumuishaji bora zaidi kwa gharama ya mafunzo marefu kidogo.
Ufahamu wa Kiufundi
Wakati wa mafunzo kila kitengo huwekwa kwa uwezekano (1 minus p) kupitia kinyago cha binary bila mpangilio, kwa hivyo mitandao midogo tofauti huchukuliwa sampuli kila kundi. Mifumo ya kisasa hutumia kuacha shule kwa njia iliyogeuzwa: uwezeshaji uliosalia umegawanywa kwa (1 minus p) wakati wa treni, kwa hivyo hakuna kuongeza kunahitajika kwa makisio. Nasibu hii huingiza kelele ambayo hukatisha tamaa kuzoeana na kukadiria wastani wa idadi kubwa ya mitandao midogo ya uzani ulioshirikiwa, aina ya bei nafuu ya kuunganisha.
Athari za kimkakati
Maamuzi ya wazi zaidi
Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
Cost and budget
Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
Timu na mtiririko wa kazi
Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Mustakabali wa Kuacha na Udhibiti wa Stochastic
Katika mitandao ya maono ya kubadilisha, urekebishaji wa bechi kwa kiasi kikubwa umeondoa kiwango cha kuacha shule, lakini lahaja hustawi kwingine: vibadilishaji vya transfoma vinatumia tabaka za kudondosha kwa umakini na usambazaji wa mbele, na DropPath (kina cha stochastic) hudondosha mabaki yote. Monte Carlo walioacha shule, ambao huweka walioacha shule katika makisio, hutumika kukadiria kutokuwa na uhakika wa mfano. Tarajia urekebishaji wa kistokatiki ili kubaki kuwa zana inayoweza kunyumbulika, iliyorekebishwa kwa kila usanifu badala ya kichocheo kimoja kisichobadilika.
Utekelezaji wa Ulimwengu Halisi
Kuongeza safu ya Kuacha na p karibu 0.5 kati ya tabaka mnene za picha au kiainisha maandishi katika PyTorch au Keras.
Miundo ya transfoma inayotumia kuacha shule kwa uzani wa umakini na kuwezesha kusambaza mbele wakati wa mafunzo ya awali
Monte Carlo kuacha shule, ambapo kuacha shule hubakia katika makisio ya kutoa makadirio ya kutokuwa na uhakika kwa utabiri muhimu wa matibabu au usalama.
Kina cha Stochastic (DropPath) kinaruka bila mpangilio vizuizi vya mabaki ili kuhalalisha mitandao ya kina kama vile ResNets na vibadilishaji maono.
Hatari & Walinzi
Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Ramani ya Utekelezaji
Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
Hati ambapo Kuacha na Udhibiti wa Stochastic husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kushuka kwa Gradient ya Stochastic kwa Kasi
Maswali yanayoulizwa mara kwa mara
What is Dropout and Stochastic Regularization?
Kuacha ni mbinu ya kuhalalisha ambayo huzima kwa nasibu sehemu ya niuroni wakati wa kila hatua ya mafunzo, na hivyo kulazimisha mtandao kuunda uwasilishaji usio na maana na thabiti. Ikawa mojawapo ya mbinu zenye ushawishi mkubwa zaidi za kupambana na kupita kiasi katika kujifunza kwa kina.
Kuacha shule hufanya nini wakati wa mafunzo?
Kuacha bila mpangilio kunapunguza kila neuroni na uwezekano wa p wakati wa mafunzo, kwa hivyo mtandao mdogo uliopunguzwa tofauti hutumiwa kila hatua.
Kwa nini kuacha shule kunaboresha ujanibishaji?
Kwa kuondoa vitengo bila mpangilio, kuacha shule huzuia neurons kuunda ushirikiano dhaifu ambao hufanya kazi tu kwenye data ya mafunzo, kuboresha uimara.
Nini kinatokea kwa kuacha shule wakati wa mtihani (maelekezo)?
Kwa makisio mtandao kamili huendeshwa na kuacha shule kumezimwa, na uwezeshaji hupunguzwa ili matokeo yanayotarajiwa yalingane na usambazaji wa mafunzo.
Kiwango cha kuacha p = 0.5 kwenye safu kinamaanisha nini wakati wa mafunzo?
Na p = 0.5 kila neuroni ina nafasi ya asilimia 50 ya kuwa sifuri, kwa hivyo kwa wastani karibu nusu hutupwa kwa kila pasi ya mbele.
Ni nini kuacha shule mara nyingi hufafanuliwa kama kukadiria?
Kuchukua sampuli ya mtandao-ndogo tofauti kila hatua hukadiria wastani wa idadi kubwa ya mitandao ya uzani wa pamoja, aina ya uunganishaji wa bei nafuu.