LegközelebbKövetkező útmutató
Rendszeresítés
Alapok
Alapok ÚTMUTATÓ
A súlycsökkentés egy egyszerű, hatékony technika, amely a modell súlyát nulla felé tolja edzés közben, és elriasztja attól, hogy túlságosan támaszkodjon egyetlen jellemzőre.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It reduces overfitting and is one of the most widely used regularizers in deep learning.
Amikor egy modell edz, akkor képes az adatokban lévő zajra azáltal, hogy nagy, finoman hangolt súlyokat növeszt, amelyek tökéletesen illeszkednek az edzéskészlethez, de rosszul általánosítanak. Az L2 regularizáció ezt úgy küzdi le, hogy a veszteségfüggvényhez a súlyok négyzetének összegével arányos büntetést ad. Az optimalizálónak most két célja van: az adatok illeszkedése és a súlyok kicsiben tartása, így simább, robusztusabb megoldások mellett dönt. A súlycsökkentés az a szorosan összefüggő ötlet, hogy minden egyes súlyt egy kis töredékével csökkentsünk minden frissítési lépésnél. A sima gradiens süllyedés esetén a kettő matematikailag egyenértékű, de az adaptív optimalizálóknál, mint például az Adam, különböznek egymástól, ezért mutatták be az AdamW-t, hogy leválasztja a csökkenést a gradiens alapú frissítésről, és helyesen viselkedjen.
A weight_decay hozzáadása a PyTorch AdamW vagy SGD optimalizálójában a képosztályozók képzésekor a túlillesztés megfékezése érdekében
A lambda-együttható hangolása a gerinc regresszióban, a klasszikus L2-vel büntetett lineáris modellben, hogy stabilizálja a korrelált jellemzőkre vonatkozó előrejelzéseket
Nagy nyelvi modell előképzési receptek, amelyek kis súlycsökkenést (gyakran 0,1 körül) határoznak meg a tanulási ütem ütemezése mellett
A súlycsökkenés kombinálása az adatok növekedésével és a lemorzsolódással, hogy egy kis orvosi képalkotó modell ne memorizálja a korlátozott edzési szkenneléseket
A súlycsökkenés továbbra is a nagy nyelvi modellek és látástranszformátorok képzési receptjeinek alapértelmezett összetevője, és az AdamW mostantól a szabványos optimalizáló ezekhez. Folytatódik a kutatás arra vonatkozóan, hogy a hanyatlás miként lép kölcsönhatásba a tanulási ütem ütemezésével, a normalizálási rétegekkel és a modellskálával, mivel a hatékony ereje a modellek növekedésével változik. Elvibb, esetleg rétegenkénti vagy ütemterv-tudatos csillapítási hangolásra számíthat, ahogy az automatizált hiperparaméter-keresés és a skálázási törvényi tanulmányok érnek.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A súlycsökkentés egy egyszerű, hatékony technika, amely a modell súlyát nulla felé tolja edzés közben, és elriasztja attól, hogy túlságosan támaszkodjon egyetlen jellemzőre. Csökkenti a túlillesztést, és az egyik legszélesebb körben használt rendszeresítő a mély tanulásban.
Az L2 szabályosítás a lambda-szorosát adja a súlyok négyzetének összegének, büntetve a nagy súlyokat, és kisebb, simább megoldásokat ösztönöz.
A súlyok kicsiben tartásával a súlycsökkenés eltántorítja a modellt a zaj illesztésétől, és javítja az új adatok általánosítását.
A súlycsökkenés minden frissítéskor nullára zsugorítja a súlyokat, ezért néha a súlyok „csökkentésének” nevezik.
Adamben az L2 veszteségbe hajtása rossz kölcsönhatásban van a paraméterenkénti skálázással; Az AdamW külön alkalmazza a csillapítást a tervezett egyenletes zsugorodás helyreállítása érdekében.
A sima SGD esetén egy L2 büntetés hozzáadásával a veszteség ugyanazt a frissítést eredményezi, mint a közvetlenül zsugorító súlyok, tehát a kettő egyenértékű.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Rendszeresítés
Alapok