LegközelebbKövetkező útmutató
Csoportosított jutalom normalizálás az RLHF-ben
Alapok
Alapok ÚTMUTATÓ
A csoportnormalizálás egy olyan technika, amely stabilizálja a neurális hálózatok képzését azáltal, hogy normalizálja a jellemzőket kis csatornacsoportokon belül, minden egyes példától függetlenül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert a Batch Normalization funkcióval ellentétben még akkor is jól működik, ha a kötegek kicsik.
A normalizálási rétegek jól skálázva tartják a hálózaton átáramló számokat, ami felgyorsítja és stabilizálja az edzést. A Batch Normalization ezt úgy teszi, hogy kiszámítja az egyes jellemzők átlagát és szórását a teljes mini kötegben, de ez törékennyé teszi, ha a kötegek kicsik, mivel a statisztikák zajosak és megbízhatatlanok lesznek. A Wu és He által 2018-ban bevezetett csoportnormalizálás teljesen eltávolítja a tételt az egyenletből. Minden egyes példánál meghatározott számú csoportra osztja a csatornákat, majd az egyes csoportokat csak az adott példa saját értékei alapján normalizálja. Mivel a számítás soha nem függ a köteg egyéb példáitól, a teljesítmény egyenletes marad, függetlenül attól, hogy a köteg 32 képet vagy csak egyet tartalmaz-e, így népszerű az észlelési, szegmentálási és memóriaigényes látási feladatokban.
Objektumészlelés és példányszegmentálás (pl. Maszk R-CNN stílusú modellek) nagyon kis GPU-nkénti kötegekkel betanítva.
A diffúziós képgenerátorokon belüli U-Net gerincek, ahol a Group Norm stabilizálja a jellemzőskálákat.
A nagy memóriahasználattal rendelkező 3D- és videohálózatok egy vagy kettőre kényszerítik a kötegméreteket.
A nagy látószögű modellek finomhangolása korlátozott hardvereken, ahol a kis tételek megbízhatatlanná teszik a Batch Norm statisztikákat.
A csoportos normalizálás továbbra is a legjobb választás, ha a kötegeknek kicsinek kell lenniük, mint például a nagy felbontású észlelés és szegmentálás, a 3D-s és videómodellek, valamint a memóriakorlátos képzés. A széles körben használt generatív architektúrákba is be van ágyazva, mint például a diffúziós modelleken belüli U-Nets. Ahogy a modellek növekszenek, és a memória nyomása csökkenti a tételek méretét, a kötegfüggetlen normalizálók, köztük a Group Norm és a Layer Norm, valószínűleg továbbra is az alapértelmezett építőelemek maradnak, a hibridek és a normalizálás nélküli alternatívák folyamatos kutatása mellett.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A csoportnormalizálás egy olyan technika, amely stabilizálja a neurális hálózatok képzését azáltal, hogy normalizálja a jellemzőket kis csatornacsoportokon belül, minden egyes példától függetlenül. Ez azért fontos, mert a Batch Normalization funkcióval ellentétben még akkor is jól működik, ha a kötegek kicsik.
The guide says GN normalizes groups of channels within each example.
The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.
The paper’s computation uses within-example group statistics, independent of batch size.
The guide states that one group reduces the scheme to LayerNorm.
The guide says one channel per group corresponds to InstanceNorm.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Csoportosított jutalom normalizálás az RLHF-ben
Alapok