LegközelebbKövetkező útmutató
RMSNorm és Pre-Layer Normalization
Műszaki
Műszaki ÚTMUTATÓ
A rétegnormalizálás stabilizálja a képzést azáltal, hogy átskálázza az aktiválásokat az egyes példákon belül, hogy nulla átlaguk és egységnyi eltérésük legyen.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It is a quiet but essential ingredient that makes deep transformers trainable.
A Ba, Kiros és Hinton által 2016-ban bevezetett rétegnormalizáció (LayerNorm) azt a problémát orvosolja, hogy a mély hálózaton belüli aktiválások vadul eltérő léptékbe sodródhatnak, ahogy a jelek több rétegen áthaladnak, lassítva vagy destabilizálva a tanulást. Ellentétben a kötegelt normalizálással, amely normalizálja az egyes jellemzőket a mini-kötegelt példákban, a LayerNorm normalizálja egyetlen példa jellemzőit. Ez függetlenné teszi a köteg méretétől, és egyformán használható képzésre és következtetésre, valamint természetesen működik változó hosszúságú sorozatokkal, ezért lett a modern nyelvi modelleket tápláló transzformátorok szabványa. A normalizálás után megtanulható skálát (gamma) és shiftet (béta) alkalmaz, így a hálózat vissza tudja állítani a szükséges reprezentációkat.
Minden transzformátor blokk stabilizálása olyan nyelvi modellekben, mint a GPT és a BERT.
Az RMSNorm engedélyezése könnyebb normalizálási lehetőségként a Llama-család modelleken belül.
Változó hosszúságú sorozatadatok normalizálása beszéd- és fordítási modellekben, ahol a kötegméretek eltérőek.
Megbízható képzést tesz lehetővé egy kötegmérettel, például egyes megerősítő tanulási beállításoknál.
A normalizálás folyamatban van a méretarányos hatékonyság érdekében. Az RMSNorm nagyrészt felváltotta a LayerNormot az újabb, nagy nyelvi modellekben, mert olcsóbb és ugyanolyan jól működik, és a nagyon mély veremeknél a norma előtti elhelyezés az alapértelmezett. A kutatók továbbra is olyan normalizálásmentes architektúrákat kutatnak, amelyek ehelyett gondos inicializálást vagy skálázási trükköket alkalmaznak, hogy csökkentsék a költségeket, miközben megtartják a normalizálás által biztosított képzési stabilitást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A rétegnormalizálás stabilizálja a képzést azáltal, hogy átskálázza az aktiválásokat az egyes példákon belül, hogy nulla átlaguk és egységnyi eltérésük legyen. Ez egy csendes, de nélkülözhetetlen összetevő, amely a mélytranszformátorokat taníthatóvá teszi.
A LayerNorm normalizálja egy egyedi minta jellemződimenzióit, így függetlenné teszi a köteg többi példájától.
Mivel a statisztikája egyetlen példából származik, a LayerNorm a köteg méretétől függetlenül konzisztensen viselkedik, és megfelel a változó hosszúságú szövegsorozatoknak.
A nulla átlagra és az egységvarianciára való normalizálás után a gamma skálázódik és a béta eltolja az eredményt, így a modell nem kényszerül rögzített eloszlásra.
Az RMSNorm kihagyja a középpontosítási lépést, és az aktiválások négyzetes középértékével skálázza, ami olcsóbb és olyan modellekben használatos, mint a Llama.
Ahogy a jelek több rétegen áthaladnak, léptékük felrobbanhat vagy összezsugorodhat; A normalizálás stabil tartományban tartja az aktiválásokat, így a gradiensek jól viselkednek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
RMSNorm és Pre-Layer Normalization
Műszaki