MWONGOZO wa Kiufundi
Uzito wa Stochastic Wastani
Wastani wa Uzito wa Stochastic (SWA) huchukua wastani rahisi wa uzani wa modeli kutoka pointi kadhaa kuchelewa katika mafunzo badala ya kuweka picha ya mwisho.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
This cheap trick often lands the model in a flatter, wider region of the loss landscape, which tends to generalize noticeably better on unseen data.
Dive ya kina
Ilianzishwa na Izmailov, Wilson na wafanyakazi wenzake mwaka wa 2018, SWA inatumia uchunguzi kwamba SGD yenye kiwango cha kujifunza cha mara kwa mara au cha mzunguko haiunganishi hadi hatua moja - inaruka kuzunguka ukingo wa bonde pana, tambarare. Badala ya kuchagua mojawapo ya sehemu hizo za kusitisha kelele, SWA huendesha kiwango cha juu cha wastani (mara nyingi mara kwa mara au cha mzunguko) kwa nyakati za mwisho na hufanya wastani wa uzito inayotembelea, kwa kawaida kila kipindi. Uzito wa wastani hukaa karibu na katikati ya eneo tambarare. Kwa sababu takwimu za urekebishaji wa kundi hukokotwa kwa uzani mahususi, SWA inahitaji upitishaji mmoja wa ziada juu ya data ili kurudisha njia za uendeshaji za BN na tofauti za muundo wa wastani. Gharama kimsingi ni ya bure, na faida za usahihi ni sawa katika viainishaji vya picha na zaidi.
Utekelezaji wa Ulimwengu Halisi
Kukuza usahihi wa majaribio ya viainishaji picha vya ResNet na DenseNet kwenye CIFAR na ImageNet bila gharama ya ziada ya marejeleo.
SWAG (SWA-Gaussian) inazalisha makadirio ya kutokuwa na uhakika yaliyoratibiwa kwa utabiri nyeti wa usalama kutoka kwa mafunzo moja ya kukimbia.
Vipimo vya EMA vinavyoimarisha mtandao wa sampuli katika jenereta za taswira kama vile Usambazaji Imara.
Kuunda 'supu za mfano' kwa wastani wa vituo vingi vya ukaguzi vilivyoboreshwa ili kuboresha uimara bila kujizoeza tena.
Mustakabali wa Wastani wa Uzito wa Stochastic
SWA imetoa lahaja kama vile SWA-Gaussian (SWAG) kwa uhakika wa bei nafuu wa Bayesian, na wazo la wastani sasa linasisitiza mbinu za Wastani wa Usogezaji wa Kielelezo unaotumiwa sana katika miundo ya usambaaji, ujifunzaji unaojisimamia, na mafunzo ya awali ya miundo mikubwa. Tarajia wastani wa uzani ili kubaki kuwa 'chakula cha mchana cha bila malipo' chaguomsingi katika mapishi ya mafunzo, huku utafiti ukiipanua hadi kuunganisha miundo iliyojitegemea iliyofunzwa (supu za mfano) na kuboresha urekebishaji pamoja na usahihi mbichi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Stochastic Weight Averaging quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Stochastic Weight Averaging?
Wastani wa Uzito wa Stochastic (SWA) huchukua wastani rahisi wa uzani wa modeli kutoka pointi kadhaa kuchelewa katika mafunzo badala ya kuweka picha ya mwisho. Ujanja huu wa bei nafuu mara nyingi huweka kielelezo katika eneo tambarare, pana la mazingira ya upotevu, ambayo huwa yanajumuisha vyema zaidi kwenye data isiyoonekana.
Je, wastani wa Uzito wa Stochastic ni wastani gani?
SWA hukadiria vigezo vya kielelezo (uzito) vilivyokusanywa katika vituo kadhaa vya ukaguzi wakati wa awamu ya mwisho ya mafunzo, si ubashiri au upinde rangi.
Kwa nini SWA ina mwelekeo wa kuboresha jumla?
Wastani husogeza suluhisho kuelekea katikati ya eneo tambarare la eneo la upotevu, na minima tambarare huleta jumla bora kwa sababu treni na hasara za majaribio hubakia katika mpangilio.
Je, ni hatua gani ya ziada ambayo SWA inahitaji kwa mitandao inayotumia urekebishaji wa bechi?
Kwa sababu takwimu za BN hutegemea uzani mahususi, muundo wa wastani unahitaji kupita moja ya ziada juu ya data ili kurudisha njia na tofauti zinazotumika.
Ni tabia gani ya kiwango cha ujifunzaji hutumika kwa kawaida wakati wa awamu ya wastani ya SWA?
SWA huhifadhi kiwango cha juu cha wastani cha kujifunza mara kwa mara au mzunguko ili SGD iendelee kuvinjari eneo tambarare ambalo pointi zake hukadiriwa.
Gharama ya uelekezaji wa SWA inalinganishwaje na mkusanyiko wa jadi wa mifano ya N?
SWA huporomosha vituo vingi vya ukaguzi kuwa seti moja ya uzani wa wastani, kwa hivyo makisio yanagharimu sawa na muundo mmoja badala ya N.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii