Uzito wa Stochastic Wastani
Wastani wa Uzito wa Stochastic (SWA) huchukua wastani rahisi wa uzani wa modeli kutoka pointi kadhaa kuchelewa katika mafunzo badala ya kuweka picha ya mwisho.
Muhtasari
This cheap trick often lands the model in a flatter, wider region of the loss landscape, which tends to generalize noticeably better on unseen data.
Dive ya kina
Ilianzishwa na Izmailov, Wilson na wafanyakazi wenzake mwaka wa 2018, SWA inatumia uchunguzi kwamba SGD yenye kiwango cha kujifunza cha mara kwa mara au cha mzunguko haiunganishi hadi hatua moja - inaruka kuzunguka ukingo wa bonde pana, tambarare. Badala ya kuchagua mojawapo ya sehemu hizo za kusitisha kelele, SWA huendesha kiwango cha juu cha wastani (mara nyingi mara kwa mara au cha mzunguko) kwa nyakati za mwisho na hufanya wastani wa uzito inayotembelea, kwa kawaida kila kipindi. Uzito wa wastani hukaa karibu na katikati ya eneo tambarare. Kwa sababu takwimu za urekebishaji wa kundi hukokotwa kwa uzani mahususi, SWA inahitaji upitishaji mmoja wa ziada juu ya data ili kurudisha njia za uendeshaji za BN na tofauti za muundo wa wastani. Gharama kimsingi ni ya bure, na faida za usahihi ni sawa katika viainishaji vya picha na zaidi.
Ufahamu wa Kiufundi
SWA hudumisha wastani wa uendeshaji w_SWA = (n·w_SWA + w_i)/(n+1) iliyosasishwa kila mzunguko, huku muundo wa moja kwa moja wa SGD ukiendelea kugundua kwa kasi kubwa ya kujifunza. Wastani wa nafasi ya uzani hukadiria mkusanyiko katika nafasi ya utendakazi lakini hugharimu muundo mmoja kwa makisio, si nyingi. Utaratibu muhimu ni kwamba minima tambarare ni thabiti kwa misukosuko ya uzani, kwa hivyo nyuso za kupoteza mafunzo/jaribio hukaa sawa, na kupunguza mwango wa jumla.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Wastani wa Uzito wa Stochastic
SWA imetoa lahaja kama vile SWA-Gaussian (SWAG) kwa uhakika wa bei nafuu wa Bayesian, na wazo la wastani sasa linasisitiza mbinu za Wastani wa Usogezaji wa Kielelezo unaotumiwa sana katika miundo ya usambaaji, ujifunzaji unaojisimamia, na mafunzo ya awali ya miundo mikubwa. Tarajia wastani wa uzani ili kubaki kuwa 'chakula cha mchana cha bila malipo' chaguomsingi katika mapishi ya mafunzo, huku utafiti ukiipanua hadi kuunganisha miundo iliyojitegemea iliyofunzwa (supu za mfano) na kuboresha urekebishaji pamoja na usahihi mbichi.
Utekelezaji wa Ulimwengu Halisi
Kukuza usahihi wa majaribio ya viainishaji picha vya ResNet na DenseNet kwenye CIFAR na ImageNet bila gharama ya ziada ya marejeleo.
SWAG (SWA-Gaussian) inazalisha makadirio ya kutokuwa na uhakika yaliyoratibiwa kwa utabiri nyeti wa usalama kutoka kwa mafunzo moja ya kukimbia.
Vipimo vya EMA vinavyoimarisha mtandao wa sampuli katika jenereta za taswira kama vile Usambazaji Imara.
Kuunda 'supu za mfano' kwa wastani wa vituo vingi vya ukaguzi vilivyoboreshwa ili kuboresha uimara bila kujizoeza tena.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Weight Averaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kuanzisha Uzito
Maswali yanayoulizwa mara kwa mara
What is Stochastic Weight Averaging?
Wastani wa Uzito wa Stochastic (SWA) huchukua wastani rahisi wa uzani wa modeli kutoka pointi kadhaa kuchelewa katika mafunzo badala ya kuweka picha ya mwisho. Ujanja huu wa bei nafuu mara nyingi huweka kielelezo katika eneo tambarare, pana la mazingira ya upotevu, ambayo huwa yanajumuisha vyema zaidi kwenye data isiyoonekana.
Je, wastani wa Uzito wa Stochastic ni wastani gani?
SWA hukadiria vigezo vya kielelezo (uzito) vilivyokusanywa katika vituo kadhaa vya ukaguzi wakati wa awamu ya mwisho ya mafunzo, si ubashiri au upinde rangi.
Kwa nini SWA ina mwelekeo wa kuboresha jumla?
Wastani husogeza suluhisho kuelekea katikati ya eneo tambarare la eneo la upotevu, na minima tambarare huleta jumla bora kwa sababu treni na hasara za majaribio hubakia katika mpangilio.
Je, ni hatua gani ya ziada ambayo SWA inahitaji kwa mitandao inayotumia urekebishaji wa bechi?
Kwa sababu takwimu za BN hutegemea uzani mahususi, muundo wa wastani unahitaji kupita moja ya ziada juu ya data ili kurudisha njia na tofauti zinazotumika.
Ni tabia gani ya kiwango cha ujifunzaji hutumika kwa kawaida wakati wa awamu ya wastani ya SWA?
SWA huhifadhi kiwango cha juu cha wastani cha kujifunza mara kwa mara au mzunguko ili SGD iendelee kuvinjari eneo tambarare ambalo pointi zake hukadiriwa.
Gharama ya uelekezaji wa SWA inalinganishwaje na mkusanyiko wa jadi wa mifano ya N?
SWA huporomosha vituo vingi vya ukaguzi kuwa seti moja ya uzani wa wastani, kwa hivyo makisio yanagharimu sawa na muundo mmoja badala ya N.