InayofuataMwongozo unaofuata
Uzito wa Stochastic Wastani
Kiufundi
MWONGOZO wa Kiufundi
Kuanzisha Uzito
Jinsi unavyoweka uzani wa kuanzia wa mtandao wa neva kabla ya mafunzo kuanza, ambayo huchagiza kwa nguvu ikiwa mawimbi na gradient hudumu kwa afya kupitia tabaka za kina.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Good initialization is the difference between fast convergence and a model that never learns.
Dive ya kina
Kabla ya mafunzo, kila uzito unahitaji thamani ya kuanzia. Kuziweka zote hadi sufuri ni hatari: uzani unaofanana hutokeza gradient zinazofanana, kwa hivyo niuroni hazitofautishi kamwe - hili ndilo tatizo la kuvunja ulinganifu. Uanzishaji nasibu huvunja ulinganifu, lakini kiwango ni muhimu sana. Kubwa sana na uanzishaji na gradient hulipuka; ndogo sana na hupotea. Miradi yenye kanuni huchagua tofauti kulingana na saizi ya safu ili kuweka tofauti za mawimbi takriban mara kwa mara katika tabaka. Uanzishaji wa Xavier (Glorot) huweka tofauti kulingana na idadi ya vitengo vya ingizo pamoja na pato na inafaa mitandao ya tanh na sigmoid. Yeye (Kaiming) hupima mizani ya uanzishaji kwa idadi ya pembejeo na akaunti kwa ReLU kutupa nusu ya pembejeo zake, na kuifanya kuwa kiwango cha neti za kina zenye msingi wa ReLU na CNN. Uanzishaji mzuri huweka mafunzo ya mapema kuwa thabiti hadi urekebishaji na viboreshaji vinavyobadilika vichukue nafasi.
Utekelezaji wa Ulimwengu Halisi
CNN inayotumia uanzishaji wa ReLU inaanzishwa kwa uanzishaji wa Yeye kwa hivyo rafu za kina za mabadiliko zinafanya mazoezi bila ishara zinazopotea.
Mtandao ulio na uwezeshaji wa tanh hutumia uanzishaji wa Xavier ili kuweka tofauti za uanzishaji thabiti katika safu.
Mhandisi ambaye alianzisha uzani wote kwa sifuri kwa bahati mbaya anaona mtandao unashindwa kujifunza kwa sababu kila neuroni hukaa sawa.
Chaguo-msingi za mifumo (Kaiming ya PyTorch, sare ya Keras ya Glorot) hutumika uanzishaji wa kanuni kiotomatiki safu inapoundwa.
Mustakabali wa Kuanzisha Uzito
Safu za urekebishaji na miunganisho ya mabaki imefanya mafunzo kuwa nyeti sana kwa uanzishaji, lakini bado ni muhimu kwa mitandao ya kina sana au isiyo ya kawaida. Utafiti amilifu unajumuisha mipango iliyoundwa kulingana na vibadilishaji umeme na umakini, mbinu zinazoruhusu mitandao ifunze bila tabaka zozote za urekebishaji, na nadharia kama vile isometria inayobadilika na kerneli ya neural tangent ambayo inatabiri ujanibishaji kutoka kwa kuanzishwa pekee. Uanzishaji unaotegemea data, ambao husawazisha mizani kutoka kwa kundi la sampuli, ni mwelekeo mwingine unaokua.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Weight Initialization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Weight Initialization?
Jinsi unavyoweka uzani wa kuanzia wa mtandao wa neva kabla ya mafunzo kuanza, ambayo huchagiza kwa nguvu ikiwa mawimbi na gradient hudumu kwa afya kupitia tabaka za kina. Uanzishaji mzuri ni tofauti kati ya muunganiko wa haraka na mtindo ambao haujifunzi kamwe.
Kwa nini kuanzisha uzani wote hadi sifuri ni kosa mbaya?
Kwa uzani unaofanana, kila neuroni hukokotoa matokeo sawa na upinde rangi, kwa hivyo husasisha sawa na safu haiwezi kamwe kujifunza vipengele mahususi.
Uanzishaji wa Yeye (Kaiming) umeundwa mahsusi kwa kazi gani ya kuwezesha?
Anaanzisha mizani tofauti kwa 2 / fan_in ili kufidia ReLU kuondoa takriban nusu ya pembejeo zake.
Ni nini lengo kuu la miradi ya uanzishaji wa uzani wa kanuni?
Miradi kama Xavier na Yeye huchagua tofauti ya uzani kutoka kwa saizi za safu ili ishara zisipotee au kulipuka zinapoenea.
Uanzishaji wa Xavier (Glorot) unafaa zaidi kwa mitandao inayotumia uanzishaji upi?
Xavier husawazisha tofauti za mbele na nyuma kwa kuwezesha ulinganifu, kueneza kama vile tanh na sigmoid.
Kwa nini uanzishaji hutumia tofauti ya 2 / fan_in badala ya 1 / fan_in?
ReLU hupitisha pembejeo chanya tu, ikitupa takriban nusu ya ishara, kwa hivyo kuongeza tofauti maradufu hurejesha tofauti inayotarajiwa ya kuwezesha.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii