LegközelebbKövetkező útmutató
Eltűnő és felrobbanó színátmenetek
Műszaki
Műszaki ÚTMUTATÓ
A színátmenet-felhalmozás lehetővé teszi, hogy nagy kötegméretet szimuláljon korlátozott GPU-memórián azáltal, hogy a súlyok frissítése előtt összeadja a színátmeneteket több kis mini kötegben.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It is the standard workaround for training big models when memory is the bottleneck.
Általában egy tanítási lépés egy köteget dolgoz fel, kiszámolja a gradienseket, és azonnal frissíti a paramétereket. A gradiens-gyűjtéssel több előre és hátra lépést futtathat kisebb mikrokötegeken, ezek színátmeneteit összeadja a paraméterpufferekben, és csak N mikroköteg után hívja meg az optimalizáló lépést (és nullázza a gradienseket). Az effektív kötegméret a mikro kötegméret N-szeresére válik, még akkor is, ha a csúcsmemória mindig csak egy mikrokötegelt tartalmaz aktiválásokat. Ez azért fontos, mert sok képzési recept nagy tételeket feltételez a stabil statisztikák érdekében, és mivel az olyan modellek, mint a nagy transzformátorok, nem férnek el egy teljes célkötegre egyetlen eszközön. A fogás: a kötegnormalizálási statisztikákat mikrokötegelenként számítják ki, így a rétegnormák vagy a csoportnormák jobban párosulnak a felhalmozással, és a veszteséget helyesen kell skálázni, hogy a hatékony tanulási sebesség megfelelő legyen.
Nagy nyelvi modell finomhangolása egyetlen fogyasztói GPU-n több mint 8 vagy 16 mikrokötegeléssel, hogy elérje a több százas tényleges köteget.
Nagy felbontású látási vagy szegmentációs modellek betanítása, ahol még egy 2-es tétel is belefér, de a recepthez 32-es hatékony tétel szükséges.
A Hugging Face Trainer és a PyTorch Lightning egy gradient_accumulation_steps beállítást tesz közzé, amelyet rutinszerűen használnak a korlátozott VRAM-os beállításokban.
A papír nagy tételes eredményeinek reprodukálása kisebb hardvereken a tényleges kötegméretnek a felhalmozáson keresztül történő összehangolásával.
A gradiens felhalmozódása továbbra is az alapértelmezett kar marad, mivel a modellek mérete meghaladja az egyeszközös memóriát. Egyre gyakrabban kombinálódik a vegyes pontossággal, az aktiválási ellenőrzési pontozással, a nullapontos felosztással és a csővezeték párhuzamosságával olyan keretrendszerekben, mint a DeepSpeed és az FSDP. Szigorúbb automatizálásra lehet számítani, ahol a könyvtárak automatikusan behangolják a felhalmozási lépéseket a memória-költségvetéshez, és továbbra is fontos a nagy modellek finomhangolása szerény hardvereken, beleértve a fogyasztói GPU-kat is, ahol feloldja a képzést, amely egyébként lehetetlen lenne.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A színátmenet-felhalmozás lehetővé teszi, hogy nagy kötegméretet szimuláljon korlátozott GPU-memórián azáltal, hogy a súlyok frissítése előtt összeadja a színátmeneteket több kis mini kötegben. Ez a standard megoldás a nagy modellek képzéséhez, amikor a memória jelenti a szűk keresztmetszetet.
Ha a frissítés előtt összeadja a gradienseket több mikrokötegre vonatkozóan, akkor egy nagy köteget utánoz anélkül, hogy egyszerre tárolná a memóriában.
Accumulate gradients across N micro-batches, call optimizer.step() once for the effective batch, then clear gradients before the next window; begin training with cleared buffers.
A Batch-norm mikrokötegelenként számítja ki a statisztikát, így a réteg- vagy csoportnorma elkerüli a kis mikro-kötegek közötti eltérést.
Batch-dependent forward computations break exact equivalence.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Eltűnő és felrobbanó színátmenetek
Műszaki