Nkezi arọ Stochastic
Stochastic Weight Averaging (SWA) na-ewe nkezi dị mfe nke ihe nlereanya site n'ọtụtụ isi n'azụ ọzụzụ kama ịdebe naanị foto ikpeazụ.
Nchịkọta
This cheap trick often lands the model in a flatter, wider region of the loss landscape, which tends to generalize noticeably better on unseen data.
Ime miri emi
N'ịbụ nke Izmailov, Wilson na ndị ọrụ ibe webatara na 2018, SWA na-erigbu nleba anya na SGD na ọnụ ọgụgụ mmụta oge niile ma ọ bụ cyclical anaghị abanye n'otu ebe - ọ na-agbago n'akụkụ ọnụ nke nnukwu ndagwurugwu dị larịị. Kama ịhọrọ otu n'ime ebe nkwụsị ahụ na-eme mkpọtụ, SWA na-agba ọsọ dị elu (mgbe ọ bụla ma ọ bụ cyclic) mmụta mmụta maka oge ikpeazụ na nkezi ihe ọ na-eleta, na-abụkarị oge ọ bụla. Ọkpụrụkpụ ndị a na-agbakọ na-anọdụ ala nso na etiti mpaghara larịị. N'ihi na a na-agbakọ ọnụ ọgụgụ batch-normalization maka ọnụ ọgụgụ dị iche iche, SWA na-achọ otu ngafe gafeta data iji gbakọọ ụzọ na-agba ọsọ BN na ụdị dị iche iche maka ụdị agbakọtara. Ọnụ ego a bụ n'efu, yana uru izi ezi na-agbanwe agbanwe n'ofe nhazi ihe onyonyo na karịa.
Nghọta nka nka
SWA na-edobe nkezi nkezi w_SWA = (n·w_SWA + w_i)/(n+1) emelitere okirikiri ọ bụla, ebe ụdị SGD dị ndụ na-eji ọnụ ọgụgụ mmụta buru ibu na-eme nchọpụta. Nkezi na oghere dị arọ na-adaba mkpokọta n'ime oghere ọrụ mana ọ na-efu otu ụdị na ntinye, ọ bụghị ọtụtụ. Usoro bụ isi bụ na minima dị larịị na-agbasi mbọ ike na nsogbu ịdị arọ, ya mere ọzụzụ nkuzi/nyocha nhụsianya na-agakọ, na-ebelata oghere n'ozuzu ya.
Mmetụta atụmatụ
Ọnụ ego na mmefu ego
Mkpebi ihe owuwu ụlọ na-akwalite arụmọrụ yana ọnụ ahịa ọrụ ruo ọtụtụ afọ.
Mkpebi doro anya
Nkà mmụta nka na-enyere ndị otu egwuregwu aka ịhọrọ nchịkọta ziri ezi, ọ bụghị naanị nke kachasị ọhụrụ.
Quality akara
Nhọrọ injinia ka mma na-ebelata ihe omume ntụkwasị obi na mmepụta.
Ọdịnihu nke ịdị arọ nke Stochastic
SWA ewepụtala ụdị dị iche iche dị ka SWA-Gaussian (SWAG) maka ejighị n'aka Bayesian dị ọnụ ala, na nkezi echiche ugbu a na-akwado aghụghọ Exponential Moving Average nke a na-eji n'ọtụtụ ebe n'ụdị mgbasa ozi, mmụta onye na-ahụ maka onwe ya, yana ọzụzụ ihe nlere anya buru ibu. Na-atụ anya na ịdị arọ ga-abụ 'nri ehihie efu' nke ndabara na ntụziaka ọzụzụ, yana nyocha na-agbatị ya na ijikọta ụdị a zụrụ azụ nke onwe ya (ofe ụdị) yana imezi nhazi n'akụkụ ziri ezi.
Mmejuputa n'ezie n'ụwa
Na-akwalite izi ezi nnwale nke nhazi ihe onyonyo ResNet na DenseNet na CIFAR na ImageNet na-enweghị ego ntinye aka.
SWAG (SWA-Gaussian) na-ewepụta atụmatụ ejighị n'aka maka amụma nwere mmetụta nchekwa site n'otu ọsọ ọzụzụ.
EMA-nke-arọ na-eme ka netwọkụ nlele ahụ guzosie ike na ndị na-emepụta ihe onyonyo dị ka Stable Diffusion.
Ịmepụta 'ofe ihe atụ' site na nkezi ọtụtụ ebe nlele emeziri nke ọma iji melite ike na-enweghị ọzụzụ.
Ihe ize ndụ & okporo ụzọ nche
Ịkwalite otu akara ngosi nwere ike zoo adịghị ike sistemụ sara mbara.
A na-eledakarị ihe akụrụngwa na ụgwọ ọrụ anya.
Ọdịiche nchekwa na nleba anya nwere ike itolite ka sistemu na-adịwanye mgbagwoju anya.
Map mmejuputa
Kọwaa latency, ịdịmma na ebumnuche ọnụ ahịa tupu mmejuputa ya.
Benchmark n'okpuru ibu dị adị na ọnọdụ data.
Nleba anya akụrụngwa maka mperi, ịkpafu na mmetụta onye ọrụ.
Kwadebe ụzọ nzaghachi azụghachi azụ na ihe omume tupu ịchachaa.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Weight Averaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Mmalite ibu
Ajụjụ a na-ajụkarị
What is Stochastic Weight Averaging?
Stochastic Weight Averaging (SWA) na-ewe nkezi dị mfe nke ihe nlereanya site n'ọtụtụ isi n'azụ ọzụzụ kama ịdebe naanị foto ikpeazụ. Aghụghọ a dị ọnụ ala na-agbadatakarị ihe nlereanya ahụ na mpaghara dị larịị, nke sara mbara nke ọdịda ọdịda, nke na-eme ka ọ dịkwuo mma na data a na-adịghị ahụ anya.
Kedu ihe Stochastic Averaging n'ezie nkezi?
SWA na-agbakọ usoro ihe atụ (arọ) anakọtara n'ọtụtụ ebe nlele n'oge ikpeazụ nke ọzụzụ, ọ bụghị amụma ma ọ bụ gradients.
Kedu ihe kpatara SWA ji akwalite mkpokọta mkpokọta?
Nkezi na-akpali ihe ngwọta gaa n'etiti mpaghara dị larịị nke elu ọnwụ ahụ, yana obere obere dị larịị na-akarị nke ọma n'ihi na ụgbọ oloko na mfu ule na-adakọ ọnụ.
Kedu usoro ọzọ SWA chọrọ maka netwọk ndị na-eji nhazi nhazi?
N'ihi na ọnụ ọgụgụ BN na-adabere na nha dị iche iche, nkezi ihe nlereanya chọrọ otu ngafe gafere data iji gbakọọ ụzọ na-agba ọsọ na ọdịiche.
Kedu omume mmụta-ọnụ ọgụgụ ka a na-ejikarị n'oge nkezi SWA?
SWA na-edobe ọnụ ọgụgụ mmụta dị elu mgbe niile ma ọ bụ cyclic ka SGD na-aga n'ihu na-enyocha mpaghara dị larịị nke a na-agbazinye akara ya.
Kedu ka ọnụ ahịa ntinye aka SWA si atụnyere mkpokọta omenala nke ụdị N?
SWA na-adaba ọtụtụ ebe nleba anya n'ime otu nha nha nha nha, yabụ ntinye aka na-akwụ otu ihe dịka otu ụdị karịa N.