LegközelebbKövetkező útmutató
Gradiens ellenőrzőpont
Műszaki
Műszaki ÚTMUTATÓ
Egy egyszerű, széles körben használt biztosíték, amely korlátozza, hogy milyen nagy gradiens frissítéseket érhetnek el edzés közben.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It prevents a single huge update from destabilizing or destroying a model, especially in recurrent and language models.
A színátmenet kivágása korlátozza a színátmenet méretét, mielőtt az optimalizáló alkalmazná. A legelterjedtebb forma a vágásonkénti: kiszámítja az összes színátmenet teljes L2 normáját, és ha az meghaladja a kiválasztott küszöböt, akkor minden gradienst leskáláz ugyanazzal a tényezővel, így a norma megegyezik a küszöbértékkel. Ez megőrzi a frissítés irányát, miközben csökkenti annak nagyságát. Egy egyszerűbb, értékenkénti változat minden egyes gradiens komponenst csak egy rögzített tartományba rögzít, például [-5, 5], de torzíthatja a frissítés irányát. A kivágás elengedhetetlen az RNN-ekben és LSTM-ekben, ahol gyakoriak a kirobbanó színátmenetek, és szinte univerzális összetevő a nagy nyelvi modellek képzésében, ahol az alkalmi rossz kötegek vagy ritka tokenek egyébként veszteségcsúcsokat és NaN-eket okozhatnak.
Egy LSTM-et szöveggenerálásra tanítva a mérnök a clipnorm=1.0-t állítja be, így a ritka, robbanó kötegek nem akadályozzák meg a tanulást.
A nagy nyelvi modellek képzései szinte egyetemesen levágják a globális gradiens normát (gyakran 1,0-ra), hogy elnyomják a veszteségcsúcsokat.
A DP-SGD az egyes példák gradiensét egy rögzített normára vágja, mielőtt hozzáadná a Gauss-zajt, így formális különbségi adatvédelmi garanciát érvényesít.
A TensorBoardban a veszteségcsúcsokat figyelő gyakorló csökkenti a klip küszöbét, és a görbe sima és stabil lesz.
Szinte minden nagyszabású edzési receptben a vágás az alapértelmezett, mivel olcsó és robusztus. A kutatás olyan adaptív sémákkal finomítja, amelyek a küszöbértéket automatikusan a legutóbbi gradiensstatisztikák alapján állítják be, nem pedig egy rögzített kézzel hangolt értéket, valamint rétegenkénti vagy koordináta szerinti kivágással. A gradiens kivágás a differenciálisan privát képzést (DP-SGD) is alátámasztja, ahol a példánkénti vágás korlátozza az egyes minták hatását, így a kalibrált zaj garantálhatja a magánélet védelmét anélkül, hogy egyetlen rekord sem dominálná a modellt.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Egy egyszerű, széles körben használt biztosíték, amely korlátozza, hogy milyen nagy gradiens frissítéseket érhetnek el edzés közben. Megakadályozza, hogy egyetlen hatalmas frissítés destabilizálja vagy tönkretegye a modellt, különösen az ismétlődő és nyelvi modelleknél.
A Clip-by-norm (Clip-by-norm) az összes gradienst ugyanazzal a skalárral skálázza, így a süllyedés iránya megmarad, miközben csak a lépéshosszt korlátozza.
Ha a norma túl nagy, minden gradienst átskáláz a c / g_norm értékkel, így a kapott norma megegyezik a c küszöbértékkel.
A vágás korlátozza a frissítések nagyságát, közvetlenül megakadályozva a felrobbanó gradiensek okozta hatalmas, instabil lépéseket.
A Clip-by-value minden elemet egy rögzített tartományba rögzít, például [-5,5]; mivel az alkatrészek egymástól függetlenül vannak nyírva, az általános irány eltolható.
Norm clipping multiplies all components by a shared factor when the total norm is too large, limiting update magnitude.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gradiens ellenőrzőpont
Műszaki