Ịdị arọ na nhazi nke L2
Ire arọ bụ usoro dị mfe ma dị ike nke na-eme ka ọ̀tụ̀tụ̀ ịdị arọ nke ihe atụ banye na efu n'oge ọzụzụ, na-akụda ya ka ọ ghara ịdabere n'ike n'ihe ọ bụla.
Nchịkọta
It reduces overfitting and is one of the most widely used regularizers in deep learning.
Ime miri emi
Mgbe ihe nlereanya na-azụ ụgbọ oloko, ọ nwere ike ịbanye na mkpọtụ na data ahụ site na itolite nnukwu, ịdị arọ edoziziri nke ọma dabara n'ọzụzụ ahụ nke edobere nke ọma mana ọ na-aga nke ọma. Nhazi L2 na-alụ ọgụ nke a site n'ịgbakwunye ntaramahụhụ nhata na nchikota nke nha squared na ọrụ ọnwụ. Optimizer ugbu a nwere ihe mgbaru ọsọ abụọ: dabara data ahụ ma mee ka ọ dị ntakịrị, ya mere ọ na-edozi na ngwọta dị nro na nke siri ike karị. Nrụrụ arọ bụ echiche nwere njikọ chiri anya nke iji obere irighiri belata ibu ọ bụla na nzọụkwụ mmelite ọ bụla. Site na mgbada gradient dị larịị ha abụọ bụ mgbakọ na mwepụ, mana na ndị na-eme mgbanwe dị ka Adam ha dị iche, nke mere AdamW ji webatara ire ere site na mmelite dabere na gradient wee mee ka ọ na-akpa àgwà nke ọma.
Nghọta nka nka
Nhazi L2 na-agbakwụnye ugboro lambda nchikota nke squared arọ na ọnwụ, ya mere gradient ya na-agbakwụnye okwu kwekọrọ na ịdị arọ nke ọ bụla, na-adọta ya na efu. Ibu arọ mebiri emebi kama na-amụba ịdị arọ nke ọ bụla site n'ihe dị ka (1 mwepu mmụta_rate times lambda) ozugbo. N'ime usoro mgbanwe, ijikọ L2 n'ime mfu na-eme ka scaling per-parameter mebie ntaramahụhụ ahụ, yabụ AdamW na-etinye mbelata ahụ iche iche, na-eweghachi otu uwe e bu n'obi na-adọta na obere nha.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke ire ere na nhazi nke L2
Ire arọ ka bụ ihe ndabara na usoro ọzụzụ ọzụzụ maka ụdị asụsụ buru ibu na ihe ntụgharị ọhụụ, AdamW bụzi ihe kacha mma maka ha. Nchọpụta na-aga n'ihu n'ime ka ire ere si emetụta usoro ọmụmụ-ọnụego, nhazi nhazi, na ọnụ ọgụgụ nlereanya, ebe ọ bụ na ike ya dị irè na-agbanwe ka ụdị na-etolite. Na-atụ anya n'usoro n'usoro, ikekwe kwa-layer ma ọ bụ nhazi-mmata ire ire nlegharị anya ka nyocha hyperparameter akpaghị aka na nyocha-iwu tozuru oke.
Mmejuputa n'ezie n'ụwa
Na-agbakwunye arọ_decay na PyTorch's AdamW ma ọ bụ SGD optimizer mgbe a na-azụ ndị na-ese foto ka ha kwụsị imebiga ihe ókè.
Na-emegharị ọnụọgụ lambda na nkwụghachi azụ, ihe nlere anya L2 nwere ntaramahụhụ, iji mee ka amụma kwụsie ike na njirimara jikọtara ya.
Nlereanya nkuzi izizi ụdị asụsụ buru ibu nke na-edobe ire ere dị obere (na-abụkarị ihe dịka 0.1) n'akụkụ usoro ọnụego mmụta.
Na-ejikọta ire ure arọ na mmụba data na nkwụsịtụ iji mee ka obere ihe ngosi ahụike ghara iburu n'isi nyocha ọzụzụ.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe arọ ire ere na nhazi L2 na-enyere aka yana ebe ụzọ ndị dị mfe dị mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Weight Decay and L2 Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Nhazi
Ajụjụ a na-ajụkarị
What is Weight Decay and L2 Regularization?
Ire arọ bụ usoro dị mfe ma dị ike nke na-eme ka ọ̀tụ̀tụ̀ ịdị arọ nke ihe atụ banye na efu n'oge ọzụzụ, na-akụda ya ka ọ ghara ịdabere n'ike n'ihe ọ bụla. Ọ na-ebelata oke mma ma bụrụ otu n'ime ndị na-ahazi oge niile na mmụta miri emi.
Kedu ihe nhazi L2 na-agbakwunye na ọrụ ọnwụ?
Nhazi L2 na-agbakwụnye ugboro lambda nchikota nke nha squared, na-ata ahụhụ buru ibu ma na-agba ume ngwọta dị nta, dị nro.
Kedu nsogbu bụ isi na ire ere na-enyere aka igbochi?
Site n'idebe ịdị arọ dị ntakịrị, ire ure na-akụda ihe nlereanya ahụ site na mkpọtụ dabara adaba, na-emeziwanye mkpokọta na data ọhụrụ.
N'ụzọ dị aṅaa ka ire ire arọ na-akpali ihe nlereanya?
Ibu arọ na-ebelata ibu na efu na mmelite ọ bụla, nke mere a na-akọwa ya mgbe ụfọdụ dị ka 'ire ure' nke arọ.
Gịnị kpatara ewebata AdamW?
Na Adam, mpịachi L2 n'ime ọnwụ na-emekọrịta ihe na-adịghị mma na nhazi nke ọ bụla; AdamW na-etinye ire ere iche iche iji weghachi mbelata nke otu a chọrọ.
Maka mgbada stochastic gradient dị larịị, kedu ka nhazi L2 na ire ere si metụta?
Site na SGD dị larịị, ịgbakwụnye ntaramahụhụ L2 na mfu na-arụpụta otu mmelite ahụ dị ka nha nha na-ebelata ozugbo, yabụ ha abụọ bụ otu.