Up tókànItọsọna atẹle
Iṣọkan Ere Iṣe deede ni RLHF
Awọn ipilẹ
Awọn ipilẹ Itọsọna
Ẹgbẹ deede
Iṣe deede Ẹgbẹ jẹ ilana kan ti o ṣe iduroṣinṣin ikẹkọ nẹtiwọọki ti ara nipasẹ ṣiṣe deede awọn ẹya laarin awọn ẹgbẹ kekere ti awọn ikanni, ni ominira fun apẹẹrẹ kọọkan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
O ṣe pataki nitori, ko dabi Iṣeduro Batch, o ṣiṣẹ daradara paapaa nigbati awọn ipele ba jẹ kekere.
Jin Dive
Awọn ipele deede jẹ ki awọn nọmba ti nṣàn nipasẹ nẹtiwọki ti o ni iwọn daradara, eyi ti o yara ati idaduro ikẹkọ. Iṣe deede Batch ṣe eyi nipasẹ ṣiṣe iṣiro iwọn ati iyatọ ti ẹya kọọkan kọja gbogbo ipele kekere, ṣugbọn iyẹn jẹ ki o jẹ ẹlẹgẹ nigbati awọn ipele ba kere, nitori awọn iṣiro naa di ariwo ati ti ko ni igbẹkẹle. Isọdọtun Ẹgbẹ, ti Wu ati He ṣe ṣafihan ni ọdun 2018, yọ ipele kuro ni idogba patapata. Fun apẹẹrẹ kọọkan, o pin awọn ikanni si nọmba ti o wa titi ti awọn ẹgbẹ, lẹhinna ṣe deede ẹgbẹ kọọkan ni lilo awọn iye apẹẹrẹ tirẹ nikan. Nitori iširo ko da lori awọn apẹẹrẹ miiran ninu ipele, iṣẹ ṣiṣe duro dada boya ipele naa ni awọn aworan 32 mu tabi ọkan kan, ti o jẹ ki o gbajumọ ni wiwa, ipin, ati awọn iṣẹ-ṣiṣe iran ti o wuwo.
Real-World imuse
Wiwa nkan ati apakan apẹẹrẹ (fun apẹẹrẹ, Awọn awoṣe ara iboju R-CNN) ti ikẹkọ pẹlu awọn ipele GPU kekere pupọ.
Awọn ẹhin U-Net inu awọn olupilẹṣẹ aworan kaakiri, nibiti Ẹgbẹ Norm ṣe iduroṣinṣin awọn irẹjẹ ẹya.
3D ati awọn nẹtiwọọki fidio nibiti iranti giga nlo awọn iwọn ipele ipa si ọkan tabi meji.
Ṣiṣatunṣe awọn awoṣe iran nla ti o dara lori ohun elo ti o lopin nibiti awọn ipele kekere jẹ ki awọn iṣiro Batch Norm jẹ igbẹkẹle.
Ojo iwaju ti deede Ẹgbẹ
Iṣe deede Ẹgbẹ duro ni lilọ-si yiyan nibikibi ti awọn ipele gbọdọ jẹ kekere, gẹgẹbi wiwa ipinnu giga ati ipin, 3D ati awọn awoṣe fidio, ati ikẹkọ opin-iranti. O tun jẹ ifibọ sinu awọn faaji ti ipilẹṣẹ ti o lo pupọ bi awọn U-Nets inu awọn awoṣe itankale. Bi awọn awoṣe ti ndagba ati titẹ iranti titari awọn iwọn ipele si isalẹ, awọn olutọpa ominira ti o ni ominira, Ẹgbẹ Norm laarin wọn lẹgbẹẹ Layer Norm, o ṣee ṣe lati jẹ awọn bulọọki ile aiyipada, pẹlu iwadii ilọsiwaju sinu awọn arabara ati awọn omiiran ti ko ni isọdọtun.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Awọn ipinnu diẹ sii. O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
- Iye owo ati isuna. O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
- Ẹgbẹ ati ṣiṣan iṣẹ. Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ṣọra fun
- Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
- Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
- Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Next awọn igbesẹ
- Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
- Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
- Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
- Iwe-ipamọ nibiti Isọdọtun Ẹgbẹ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Group Normalization quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini isọdọtun Ẹgbẹ?
Iṣe deede Ẹgbẹ jẹ ilana kan ti o ṣe iduroṣinṣin ikẹkọ nẹtiwọọki ti ara nipasẹ ṣiṣe deede awọn ẹya laarin awọn ẹgbẹ kekere ti awọn ikanni, ni ominira fun apẹẹrẹ kọọkan. O ṣe pataki nitori, ko dabi Iṣe deede Batch, o ṣiṣẹ daradara paapaa nigbati awọn ipele jẹ aami.
Across what dimensions does Group Normalization compute statistics?
The guide says GN normalizes groups of channels within each example.
Why can GroupNorm be preferable to BatchNorm for very small batches?
The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.
What does GroupNorm’s independence from batch size mean?
The paper’s computation uses within-example group statistics, independent of batch size.
Which GroupNorm setting corresponds to one group containing all channels?
The guide states that one group reduces the scheme to LayerNorm.
Which GroupNorm setting corresponds to one channel per group?
The guide says one channel per group corresponds to InstanceNorm.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii