MUONGOZO wa Misingi

Urekebishaji wa Kikundi

Urekebishaji wa Kikundi ni mbinu inayoleta utulivu wa mafunzo ya mtandao wa neva kwa kurekebisha vipengele ndani ya vikundi vidogo vya chaneli, kwa kujitegemea kwa kila mfano.

Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min

Anza kusomaChukua chemsha bongo
Katika ukurasa huudk 2 kusoma
  1. Muhtasari
  2. Dive ya kina
  3. Utekelezaji wa Ulimwengu Halisi
  4. Mustakabali wa Urekebishaji wa Kikundi
  5. Kuiweka katika vitendo
  6. Endelea Kuchunguza
  7. Maswali yanayoulizwa mara kwa mara

Muhtasari

Ni muhimu kwa sababu, tofauti na Urekebishaji wa Kundi, inafanya kazi vizuri hata wakati bechi ni ndogo.

Dive ya kina

Safu za urekebishaji huweka nambari zinazopita kupitia mtandao kwa kiwango kizuri, ambacho huharakisha na kuleta mafunzo. Kusawazisha Bechi hufanya hivi kwa kukokotoa wastani na tofauti za kila kipengele kwenye kundi zima, lakini hiyo huifanya kuwa tete wakati bechi ni ndogo, kwa kuwa takwimu huwa na kelele na zisizotegemewa. Urekebishaji wa Kikundi, ulioanzishwa na Wu and He mnamo 2018, huondoa kundi kutoka kwa mlinganyo kabisa. Kwa kila mfano wa mtu binafsi, inagawanya chaneli katika idadi maalum ya vikundi, kisha kurekebisha kila kikundi kwa kutumia tu maadili ya mfano huo. Kwa sababu hesabu haitegemei mifano mingine katika kundi, utendakazi hudumu kwa uthabiti iwe bechi inashikilia picha 32 au moja tu, hivyo kuifanya iwe maarufu katika ugunduzi, ugawaji na kazi za kuona zenye kumbukumbu.

Utekelezaji wa Ulimwengu Halisi

Utambuzi wa kitu na utengaji wa mifano (k.m., miundo ya mtindo wa Mask R-CNN) iliyofunzwa kwa bechi ndogo sana kwa kila GPU.

Migongo ya U-Net ndani ya jenereta za picha za uenezi, ambapo Norm ya Kundi huimarisha mizani ya vipengele.

Mitandao ya 3D na video ambapo kumbukumbu ya juu hutumia saizi ya bechi hadi moja au mbili.

Kurekebisha vizuri miundo mikubwa ya kuona kwenye maunzi machache ambapo bechi ndogo hufanya takwimu za Batch Norm zisitegemeke.

Mustakabali wa Urekebishaji wa Kikundi

Urekebishaji wa Kikundi husalia kuwa chaguo la kufanya popote lazima bechi ziwe ndogo, kama vile ugunduzi na ugawaji wa msongo wa juu, miundo ya 3D na video, na mafunzo yasiyo na kumbukumbu. Pia imepachikwa katika usanifu mzalishaji unaotumika sana kama vile U-Nets ndani ya miundo ya usambaaji. Miundo inapokua na shinikizo la kumbukumbu kusukuma ukubwa wa bechi chini, viambajengo visivyojitegemea kwa kundi, Kawaida ya Kundi miongoni mwavyo pamoja na Layer Norm, vina uwezekano wa kubaki vizuizi chaguomsingi vya ujenzi, pamoja na kuendelea kwa utafiti kuhusu mihuluti na njia mbadala zisizo na urekebishaji.

Kuiweka katika vitendo

Kwa nini ni muhimu

  • Maamuzi ya wazi zaidi. Inakusaidia kutenganisha madai ya wazi ya kiufundi kutoka kwa lugha ya uuzaji.
  • Gharama na bajeti. Unaweza kuuliza maswali ya utekelezaji bora kabla ya kutumia pesa au wakati.
  • Timu na mtiririko wa kazi. Timu zenye uelewa wa pamoja hufanya maamuzi bora ya bidhaa, sera na mafunzo.

Jihadharini na

  • Timu tofauti zinaweza kutumia neno moja tofauti, kwa hivyo fafanua upeo mapema.
  • Vigezo vinaweza kuonekana kuwa na nguvu ilhali utendakazi wa ulimwengu halisi haufanani.
  • Kupuuza ubora wa data na mipango ya tathmini mara nyingi huleta matokeo tete.

Hatua zinazofuata

  1. Anza na ufafanuzi wa lugha rahisi wa matokeo unayohitaji.
  2. Chagua kipimo kimoja cha mafanikio na hali moja ya kutofaulu kabla ya kujaribu.
  3. Tekeleza majaribio madogo yenye data wakilishi, si seti ya onyesho iliyoboreshwa.
  4. Hati ambapo Urekebishaji wa Kikundi husaidia na ambapo mbinu rahisi ni bora zaidi.

Endelea Kuchunguza

AI ni nini?

Pata dhana muhimu kabla ya kupiga mbizi zaidi.Soma Mwongozo

Jinsi AI Inajifunza

Kuelewa mchakato wa mafunzo nyuma ya mifumo ya kisasa.Soma Mwongozo

Jarida halali

Pata taarifa ya kila siku ya AI

Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.

Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.

Jijaribu mwenyewe

Take the Group Normalization quiz

Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.

Anza chemsha bongo

Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango

Maswali yanayoulizwa mara kwa mara

Urekebishaji wa Kikundi ni nini?

Urekebishaji wa Kikundi ni mbinu inayoleta utulivu wa mafunzo ya mtandao wa neva kwa kurekebisha vipengele ndani ya vikundi vidogo vya chaneli, kwa kujitegemea kwa kila mfano. Ni muhimu kwa sababu, tofauti na Urekebishaji wa Kundi, inafanya kazi vizuri hata wakati bechi ni ndogo.

Across what dimensions does Group Normalization compute statistics?

The guide says GN normalizes groups of channels within each example.

Why can GroupNorm be preferable to BatchNorm for very small batches?

The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.

What does GroupNorm’s independence from batch size mean?

The paper’s computation uses within-example group statistics, independent of batch size.

Which GroupNorm setting corresponds to one group containing all channels?

The guide states that one group reduces the scheme to LayerNorm.

Which GroupNorm setting corresponds to one channel per group?

The guide says one channel per group corresponds to InstanceNorm.

Endelea kujifunza

Miongozo inayohusiana

Miongozo zaidi imechaguliwa kwa mada hii

Pata cheti cha AI bureKozi fupi na mtihani bila malipo. Bila kadi. Hata dakika 2.5.Anza bure →