Nhazi otu
Nhazi otu bụ usoro na-eme ka ọzụzụ netwọkụ akwara kwụsie ike site na ịhazi atụmatụ n'ime obere obere ọwa, n'adabereghị maka ihe atụ ọ bụla.
Nchịkọta
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Ime miri emi
Nkịtị Normalisation na-eme ka ọnụọgụgụ na-aga na netwọk nke ọma, nke na-agba ọsọ ma na-eme ka ọzụzụ dị ike. Batch Normalization na-eme nke a site n'ịgbakọ ihe pụtara na ọdịiche nke njirimara ọ bụla n'ofe obere-batch dum, mana nke ahụ na-eme ka ọ bụrụ ihe na-esighị ike mgbe ogbe dị ntakịrị, ebe ọ bụ na ọnụ ọgụgụ na-aghọ mkpọtụ na enweghị ntụkwasị obi. Nhazi otu, nke Wu na He webatara na 2018, na-ewepụ ogbe ahụ na nha anya kpamkpam. Maka ọmụmaatụ nke ọ bụla, ọ na-ekewa ọwa ndị ahụ ka ọ bụrụ ọnụ ọgụgụ a kapịrị ọnụ, wee na-emezi otu ọ bụla na-eji naanị ụkpụrụ nke onwe ya. N'ihi na mgbakọ na mwepụ anaghị adabere na ihe atụ ndị ọzọ na batch, arụmọrụ na-adịgide adịgide ma ọ bụrụ na ogbe ahụ nwere ihe oyiyi 32 ma ọ bụ naanị otu, na-eme ka ọ bụrụ ihe a ma ama na nchọpụta, nkewa, na ọrụ ọhụụ dị arọ.
Nghọta nka nka
Otu Norm na-agbakọ pụtara na iche iche n'okirikiri oghere yana n'elu ọwa dị n'ime otu ọ bụla, n'otu nlele. Ọ na-emezigharị ka ọ bụrụ ihe efu na ọdịiche nkeji ma na-emetụta ọnụọgụ ọwa ọ bụla amụtara (gamma) na mgbanwe (beta). Ọ na-achịkọta atụmatụ ndị ọzọ: n'otu otu ọ na-aghọ Layer Normalisation, na otu ọwa maka otu ọ na-aghọ Normalisation Instance. Ọnụọgụ otu ahụ bụ hyperparameter, na-edokarị ya na 32.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke nhazi otu
Nhazi otu na-anọgide na-ahọrọ ebe ọ bụla batches ga-adị ntakịrị, dị ka nchọpụta mkpebi dị elu na nkewa, 3D na ụdị vidiyo, na ọzụzụ ebe nchekwa nwere oke. Agbanyekwara ya n'ime ụlọ nrụpụta ihe eji eme ihe dị ka U-Nets n'ime ụdị mgbasa ozi. Ka ụdị na-eto eto na nrụgide ebe nchekwa na-akwada nha nha, ndị na-eme ihe na-enweghị onwe ha, Group Norm n'etiti ha n'akụkụ Layer Norm, nwere ike ịnọgide na-abụ ihe mgbochi ụlọ, na-aga n'ihu na nyocha n'ime ngwakọ na ihe ndị ọzọ na-enweghị nhazi.
Mmejuputa n'ezie n'ụwa
Nchọpụta ihe na nkewa ihe atụ (dịka ọmụmaatụ, ụdị ụdị mkpuchi R-CNN) ejiri obere obere GPU zụọ ya.
Ọkpụkpụ U-Net dị n'ime ndị na-emepụta ihe onyonyo na-agbasa, ebe Group Norm na-eme ka akpịrịkpa guzosie ike.
Netwọk 3D na vidiyo ebe ebe nchekwa dị elu na-eji ike ogbe gbadaa otu ma ọ bụ abụọ.
Nhazi ụdị ọhụụ buru ibu na ngwaike nwere oke ebe obere batches na-eme ka ọnụ ọgụgụ Batch Norm ghara ịdabere na ya.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Detuo ebe nhazi otu na-enyere aka yana ebe ụzọ ndị dị mfe dị mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Nhazi nhazi ụgwọ ọrụ agbakọtara na RLHF
Ajụjụ a na-ajụkarị
What is Group Normalization?
Nhazi otu bụ usoro na-eme ka ọzụzụ netwọkụ akwara kwụsie ike site na ịhazi atụmatụ n'ime obere obere ọwa, n'adabereghị maka ihe atụ ọ bụla. Ọ dị mkpa n'ihi na, n'adịghị ka Batch Normalization, ọ na-arụ ọrụ nke ọma ọbụna mgbe batches dị obere.
Kedu uru bụ isi uru nke otu Normalization karịa Batch Normalisation?
N'ihi na Group Norm na-agbakọ ọnụ ọgụgụ kwa ihe atụ kama gafee ogbe, ọ bụghị obere batches na-eweda ya ala, n'adịghị ka Batch Norm.
Kedu ihe Normaization Group na-agbakọ pụtara na ọdịiche ya?
Ọ na-ekewa ọwa n'ime otu ma na-ahazi otu ọ bụla na-eji naanị ụkpụrụ otu ihe atụ ahụ na ọnọdụ oghere, na-eleghara ogbe ndị ọzọ anya.
Nkịtị otu na-aghọ Normalization Layer na nke pụrụ iche ikpe?
Site n'otu otu, a na-ahazi ọwa niile ọnụ kwa ọmụmaatụ, nke bụ kpọmkwem Layer Normalization.
Nkịtị otu na-aghọ Normalization ihe atụ n'ime nke pụrụ iche?
Ọ bụrụ na otu ọ bụla na-ejide otu ọwa, a na-ahazi ọwa nke ọ bụla n'onwe ya maka ọmụmaatụ, nke bụ Normalisation Instance.
Mgbe emezigharịrị, gịnị ka Group Norm na-emetụta iji weghachi mgbanwe nnọchi anya?
Dịka ọkwa nhazi ndị ọzọ, Otu Norm na-agụnye ọnụ ọgụgụ mmụta na ihe mgbanwe ka netwọk wee nwee ike megharịa ma ọ bụ gbanwee nhazi ahụ dịka ọ dị mkpa.