LegközelebbKövetkező útmutató
ZeRO és Sharded Optimizers
Műszaki
Műszaki ÚTMUTATÓ
Adam a legtöbb modern neurális hálózat mögött álló igásló optimalizáló, amely minden paraméterhez automatikusan külön tanulási sebességet hangol.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez azért fontos, mert gyorsabbá és kevésbé bonyolulttá teszi a mély modellek képzését, mint a sima gradiens süllyedés.
Adam (Adaptive Moment Estimation), amelyet Kingma és Ba 2014-ben mutatott be, két ötletet ötvöz. Először is a lendület: megtartja a múltbeli gradiensek exponenciálisan csökkenő átlagát (az első pillanatban), így a frissítések konzisztens irányban építik fel a sebességet. Másodszor, paraméterenkénti skálázás: nyomon követi a négyzetes gradiensek átlagát (a második pillanat), és minden lépést eloszt az érték négyzetgyökével, így a nagy, zajos gradiensekkel rendelkező paraméterek kisebb, a ritkán frissített paraméterek pedig nagyobb lépéseket tesznek. Ez az alkalmazkodóképesség azt jelenti, hogy gyakran használhat egy tanulási sebességet az egész hálózaton. Egy változat, az AdamW, leválasztja a súlycsökkenést a gradiens-frissítésről, és ez lett az alapértelmezett a nagy transzformátorok és nyelvi modellek betanításában.
Olyan nagy nyelvi modellek betanítása, mint a GPT és a Llama, amelyek az AdamW-t szabványos optimalizálóként használják.
Egy előre betanított képosztályozó (pl. ResNet) finomhangolása egyéni adatkészleten, csak az alapértelmezett Adam tanulási sebességgel.
Képgenerátorok, például a Stable Diffusion mögötti diffúziós modellek betanítása.
A 8 bites Adam futtatása olyan könyvtárakban, mint a bitsandbyte, hogy az optimalizáló állapotait a korlátozott GPU memóriába illessze.
Adam és AdamW továbbra is domináns, de a kutatások a trillió paraméteres modellek hatékonyságát növelik, ahol súlyonként két plusz érték tárolása költséges. A memóriakönnyű változatok, mint például az Adafactor, a 8 bites Adam, és az újabb optimalizálók, mint például a Lion (amely csak jelalapú lendületet használ) és a Sophia célja, hogy Adam minőségét kevesebb memóriával vagy gyorsabb konvergenciával párosítsa. A kifejezetten elosztott, kis pontosságú képzéshez hangolt adaptív optimalizálók folyamatosan fejlődnek.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Adam a legtöbb modern neurális hálózat mögött álló igásló optimalizáló, amely minden paraméterhez automatikusan külön tanulási sebességet hangol. Ez azért fontos, mert gyorsabbá és kevésbé bonyolulttá teszi a mély modellek képzését, mint a sima gradiens süllyedés.
Adam minden paraméterre megtartja a gradiensek (első pillanat) és a gradiens négyzetes (második pillanat) exponenciálisan csökkenő átlagát.
Az m és a v is nullára van inicializálva, így a korai becslések torzítása alacsony; az (1 - béta^t)-vel való osztás kijavítja ezt.
Az AdamW a súlycsökkentést közvetlenül a súlyokra alkalmazza, ahelyett, hogy az adaptív gradiens tagba keverné, ami javítja a transzformátorok általánosítását.
Epszilon (körülbelül 1e-8) hozzáadódik a nevezőhöz, hogy a nullához közeli négyzetes gradiens átlagú paraméterek ne okozzanak robbanást.
Adam az egyes paraméterek gradiens-átlagának négyzetgyökével osztva a lépések méretét paraméterenként skálázza ahelyett, hogy egyetlen globális értéket használna.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
ZeRO és Sharded Optimizers
Műszaki