Ẹgbẹ deede
Iṣe deede Ẹgbẹ jẹ ilana kan ti o ṣe iduroṣinṣin ikẹkọ nẹtiwọọki ti ara nipasẹ ṣiṣe deede awọn ẹya laarin awọn ẹgbẹ kekere ti awọn ikanni, ni ominira fun apẹẹrẹ kọọkan.
Akopọ
O ṣe pataki nitori, ko dabi Iṣeduro Batch, o ṣiṣẹ daradara paapaa nigbati awọn ipele ba jẹ kekere.
Jin Dive
Awọn ipele deede jẹ ki awọn nọmba ti nṣàn nipasẹ nẹtiwọki ti o ni iwọn daradara, eyi ti o yara ati idaduro ikẹkọ. Iṣe deede Batch ṣe eyi nipasẹ ṣiṣe iṣiro iwọn ati iyatọ ti ẹya kọọkan kọja gbogbo ipele kekere, ṣugbọn iyẹn jẹ ki o jẹ ẹlẹgẹ nigbati awọn ipele ba kere, nitori awọn iṣiro naa di ariwo ati ti ko ni igbẹkẹle. Isọdọtun Ẹgbẹ, ti Wu ati He ṣe ṣafihan ni ọdun 2018, yọ ipele kuro ni idogba patapata. Fun apẹẹrẹ kọọkan, o pin awọn ikanni si nọmba ti o wa titi ti awọn ẹgbẹ, lẹhinna ṣe deede ẹgbẹ kọọkan ni lilo awọn iye apẹẹrẹ tirẹ nikan. Nitori iširo ko da lori awọn apẹẹrẹ miiran ninu ipele, iṣẹ ṣiṣe duro dada boya ipele naa ni awọn aworan 32 mu tabi ọkan kan, ti o jẹ ki o gbajumọ ni wiwa, ipin, ati awọn iṣẹ-ṣiṣe iran ti o wuwo.
Imọ-imọ-ẹrọ
Ẹgbẹ Norm ṣe iṣiro tumọ ati iyatọ lori awọn iwọn aye ati lori awọn ikanni laarin ẹgbẹ kọọkan, fun apẹẹrẹ. Lẹhinna o ṣe deede si iwọn ilawọn odo ati iyatọ ẹyọkan ati pe o kan ikẹkọ iwọn-ikanni kọọkan (gamma) ati iyipada (beta). O ṣe akopọ awọn igbero miiran: pẹlu ẹgbẹ kan o di Normaization Layer, ati pẹlu ikanni kan fun ẹgbẹ kan o di Isọdi Apeere. Nọmba ẹgbẹ jẹ hyperparameter, nigbagbogbo ṣeto si 32.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti deede Ẹgbẹ
Iṣe deede Ẹgbẹ duro ni lilọ-si yiyan nibikibi ti awọn ipele gbọdọ jẹ kekere, gẹgẹbi wiwa ipinnu giga ati ipin, 3D ati awọn awoṣe fidio, ati ikẹkọ opin-iranti. O tun jẹ ifibọ sinu awọn faaji ti ipilẹṣẹ ti o lo pupọ bi awọn U-Nets inu awọn awoṣe itankale. Bi awọn awoṣe ti ndagba ati titẹ iranti titari awọn iwọn ipele si isalẹ, awọn olutọpa ominira ti o ni ominira, Ẹgbẹ Norm laarin wọn lẹgbẹẹ Layer Norm, o ṣee ṣe lati jẹ awọn bulọọki ile aiyipada, pẹlu iwadii ilọsiwaju sinu awọn arabara ati awọn omiiran ti ko ni isọdọtun.
Real-World imuse
Wiwa nkan ati apakan apẹẹrẹ (fun apẹẹrẹ, Awọn awoṣe ara iboju R-CNN) ti ikẹkọ pẹlu awọn ipele GPU kekere pupọ.
Awọn ẹhin U-Net inu awọn olupilẹṣẹ aworan kaakiri, nibiti Ẹgbẹ Norm ṣe iduroṣinṣin awọn irẹjẹ ẹya.
3D ati awọn nẹtiwọọki fidio nibiti iranti giga nlo awọn iwọn ipele ipa si ọkan tabi meji.
Ṣiṣatunṣe awọn awoṣe iran nla ti o dara lori ohun elo ti o lopin nibiti awọn ipele kekere jẹ ki awọn iṣiro Batch Norm jẹ igbẹkẹle.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Isọdọtun Ẹgbẹ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣọkan Ere Iṣe deede ni RLHF
Awọn ibeere ti a beere nigbagbogbo
Kini isọdọtun Ẹgbẹ?
Iṣe deede Ẹgbẹ jẹ ilana kan ti o ṣe iduroṣinṣin ikẹkọ nẹtiwọọki ti ara nipasẹ ṣiṣe deede awọn ẹya laarin awọn ẹgbẹ kekere ti awọn ikanni, ni ominira fun apẹẹrẹ kọọkan. O ṣe pataki nitori, ko dabi Iṣe deede Batch, o ṣiṣẹ daradara paapaa nigbati awọn ipele jẹ aami.
Kini anfani akọkọ ti Isọdọtun Ẹgbẹ lori Iṣeṣe Batch?
Nitori Norm Ẹgbẹ ṣe iṣiro awọn iṣiro fun apẹẹrẹ ju kọja ipele, kii ṣe ibajẹ nipasẹ awọn ipele kekere, ko dabi Batch Norm.
Lori kini isọdọtun Ẹgbẹ ṣe iṣiro itumọ rẹ ati iyatọ?
O pin awọn ikanni si awọn ẹgbẹ ati ṣe deede ẹgbẹ kọọkan ni lilo awọn iye apẹẹrẹ ẹyọkan nikan ati awọn ipo aye, foju kọju si ipele iyokù.
Deede Ẹgbẹ di Layer Normalisation ninu eyi ti pataki nla?
Pẹlu ẹgbẹ kan, gbogbo awọn ikanni ti wa ni deede papọ fun apẹẹrẹ, eyiti o jẹ deede Layer Normaization.
Deede Ẹgbẹ di Apeere Normalisation ninu eyi ti pataki nla?
Ti gbogbo ẹgbẹ ba mu ikanni kan mu, ikanni kọọkan jẹ deede lori tirẹ fun apẹẹrẹ, eyiti o jẹ Iṣe deede Apeere.
Lẹhin ti o ṣe deede, kini Norm Ẹgbẹ kan lati mu irọrun aṣoju pada sipo?
Bii awọn fẹlẹfẹlẹ isọdi deede miiran, Norm Ẹgbẹ pẹlu iwọn ti a kọ ẹkọ ati awọn aye iyipada ki nẹtiwọọki le ṣe atunṣe tabi ṣatunṣe deede bi o ṣe nilo.