InayofuataMwongozo unaofuata
Kushuka kwa Gradient ya Stochastic kwa Kasi
Misingi
MUONGOZO wa Misingi
Kuacha na Udhibiti wa Stochastic
Kuacha ni mbinu ya kuhalalisha ambayo huzima kwa nasibu sehemu ya niuroni wakati wa kila hatua ya mafunzo, na hivyo kulazimisha mtandao kuunda uwasilishaji usio na maana na thabiti.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Ikawa mojawapo ya mbinu zenye ushawishi mkubwa zaidi za kupambana na kupita kiasi katika kujifunza kwa kina.
Dive ya kina
Ilianzishwa na kundi la Hinton karibu mwaka wa 2012, kuacha shule kunashughulikia udhaifu mkuu wa mitandao mikubwa: nyuroni zinaweza kukabiliana, kujifunza kurekebisha makosa ya kila mmoja kwa njia zinazofanya kazi tu kwenye data ya mafunzo. Katika kila kupita mbele wakati wa mafunzo, kuacha kwa nasibu huweka pato la kila neuroni hadi sifuri na uwezekano fulani p (mara nyingi 0.5 katika tabaka mnene). Kwa sababu neuroni yoyote inaweza kutoweka, mtandao hauwezi kuegemea ubia dhaifu na lazima ueneze habari muhimu katika vitengo vingi. Hii hufanya kama kufundisha mkusanyiko mkubwa wa mitandao nyembamba inayoshiriki uzani. Wakati wa kujaribu kuacha shule huzimwa na mtandao kamili unatumiwa, uwezeshaji ukiwa umepunguzwa ili matokeo yanayotarajiwa yalingane na mafunzo. Matokeo yake ni ujumuishaji bora zaidi kwa gharama ya mafunzo marefu kidogo.
Utekelezaji wa Ulimwengu Halisi
Kuongeza safu ya Kuacha na p karibu 0.5 kati ya tabaka mnene za picha au kiainisha maandishi katika PyTorch au Keras.
Miundo ya transfoma inayotumia kuacha shule kwa uzani wa umakini na kuwezesha kusambaza mbele wakati wa mafunzo ya awali
Monte Carlo kuacha shule, ambapo kuacha shule hubakia katika makisio ya kutoa makadirio ya kutokuwa na uhakika kwa utabiri muhimu wa matibabu au usalama.
Kina cha Stochastic (DropPath) kinaruka bila mpangilio vizuizi vya mabaki ili kuhalalisha mitandao ya kina kama vile ResNets na vibadilishaji maono.
Mustakabali wa Kuacha na Udhibiti wa Stochastic
Katika mitandao ya maono ya kubadilisha, urekebishaji wa bechi kwa kiasi kikubwa umeondoa kiwango cha kuacha shule, lakini lahaja hustawi kwingine: vibadilishaji vya transfoma vinatumia tabaka za kudondosha kwa umakini na usambazaji wa mbele, na DropPath (kina cha stochastic) hudondosha mabaki yote. Monte Carlo walioacha shule, ambao huweka walioacha shule katika makisio, hutumika kukadiria kutokuwa na uhakika wa mfano. Tarajia urekebishaji wa kistokatiki ili kubaki kuwa zana inayoweza kunyumbulika, iliyorekebishwa kwa kila usanifu badala ya kichocheo kimoja kisichobadilika.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
- Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
- Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.
Jihadharini na
- Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
- Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
- Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.
Hatua zinazofuata
- Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
- Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
- Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
- Hati ambapo Kuacha na Udhibiti wa Stochastic husaidia na ambapo mbinu rahisi ni bora zaidi.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Dropout and Stochastic Regularization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Udhibiti wa Kuacha na Udhibiti wa Stochastic ni nini?
Kuacha ni mbinu ya kuhalalisha ambayo huzima kwa nasibu sehemu ya niuroni wakati wa kila hatua ya mafunzo, na hivyo kulazimisha mtandao kuunda uwasilishaji usio na maana na thabiti. Ikawa mojawapo ya mbinu zenye ushawishi mkubwa zaidi za kupambana na kupita kiasi katika kujifunza kwa kina.
Kuacha shule hufanya nini wakati wa mafunzo?
Kuacha bila mpangilio kunapunguza kila neuroni na uwezekano wa p wakati wa mafunzo, kwa hivyo mtandao mdogo uliopunguzwa tofauti hutumiwa kila hatua.
Kwa nini kuacha shule kunaboresha ujanibishaji?
Kwa kuondoa vitengo bila mpangilio, kuacha shule huzuia neurons kuunda ushirikiano dhaifu ambao hufanya kazi tu kwenye data ya mafunzo, kuboresha uimara.
Nini kinatokea kwa kuacha shule wakati wa mtihani (maelekezo)?
Kwa makisio mtandao kamili huendeshwa na kuacha shule kumezimwa, na uwezeshaji hupunguzwa ili matokeo yanayotarajiwa yalingane na usambazaji wa mafunzo.
Kiwango cha kuacha p = 0.5 kwenye safu kinamaanisha nini wakati wa mafunzo?
Na p = 0.5 kila neuroni ina nafasi ya asilimia 50 ya kuwa sifuri, kwa hivyo kwa wastani karibu nusu hutupwa kwa kila pasi ya mbele.
Ni nini kuacha shule mara nyingi hufafanuliwa kama kukadiria?
Kuchukua sampuli ya mtandao-ndogo tofauti kila hatua hukadiria wastani wa idadi kubwa ya mitandao ya uzani wa pamoja, aina ya uunganishaji wa bei nafuu.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii