LegközelebbKövetkező útmutató
Gradiens Akkumuláció
Műszaki
Műszaki ÚTMUTATÓ
A gradiens checkpointing (más néven aktiválási ellenőrzőpont) egy memóriakímélő trükk, amely eldobja a legtöbb közbenső aktiválást az előrehaladás során, és menet közben újraszámítja azokat a visszaterjesztés során.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It lets you train deeper, larger networks by trading extra compute for much lower memory use.
Training normally retains intermediate activations needed for backpropagation. Activation checkpointing saves selected boundary tensors and recomputes internal activations during backward. This trades additional computation for a lower activation-memory footprint; the actual savings and runtime overhead depend on checkpoint placement, operations, model graph, and hardware. In a simplified chain of N similarly sized layers, a textbook schedule with checkpoint boundaries spaced about sqrt(N) layers apart can reduce activation storage to order sqrt(N) checkpoints, with recomputation cost governed by that schedule. This asymptotic example is not a universal prediction for framework implementations. PyTorch exposes activation-checkpointing utilities, and its current guidance also describes selective rematerialization and compiler-assisted choices. It can combine with FSDP and mixed precision, but benchmark the full training workload.
Nagyobb kötegméretű mélytranszformátor betanítása egyetlen GPU-n a rétegaktiválások elvetésével és újraszámításával.
A látásmodellek finomhangolása nagy felbontású képeken, ahol az aktiválási térképek egyébként túlcsordulnának a GPU memóriájában.
Hugging Face Transformers, amely lehetővé teszi gradient_checkpointing=Igaz, hogy illeszkedjen a milliárd paraméterű modellekhez a finomhangolás során.
Az ellenőrzőpontok kombinálása az FSDP-vel, így mind a paraméterek, mind az aktiválások kicsik maradnak, lehetővé téve a nagyon nagy nyelvi modellek betanítását.
A gradiens ellenőrzőpontok ma már alapfelszereltségnek számítanak a nagymodell-oktatásban, és egyre inkább automatizáltak, és a könyvtárak kiválasztják az Ön számára optimális ellenőrzőpontokat. Természetesen párosul az FSDP-vel, vegyes precizitással és tehermentesítéssel a modellméretek növelése érdekében. Számíthat „szelektív” ellenőrzőpontokra, amelyek csak olcsó műveleteket számítanak újra, miközben a drágákat (például a figyelemmátrixokat) gyorsítótárban tartják, valamint a fordító által vezérelt megközelítéseket olyan eszközökben, mint a PyTorch torch.compile, amelyek automatikusan eldöntik, hogy mit kell menteni, illetve az újraszámítást a legjobb sebesség-memória egyensúly érdekében.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A gradiens checkpointing (más néven aktiválási ellenőrzőpont) egy memóriakímélő trükk, amely eldobja a legtöbb közbenső aktiválást az előrehaladás során, és menet közben újraszámítja azokat a visszaterjesztés során. Lehetővé teszi mélyebb, nagyobb hálózatok betanítását azáltal, hogy extra számításokat keres a sokkal alacsonyabb memóriahasználat érdekében.
A gradiens-ellenőrzőpont újraszámítja az eldobott aktiválásokat a visszafelé haladás során, extra számítást költve a jelentősen csökkentett memóriaért cserébe.
A Backprop a gradienseket az előrehaladás közbenső aktiválásaival számítja ki, tehát elérhetőnek kell lenniük, hacsak nem számítják újra.
The square-root schedule is a theoretical result for a simplified sequential computation graph, not a universal implementation guarantee.
Recomputation overhead varies with checkpoint policy and the cost of operations selected for recomputation.
A torch.utils.checkpoint becsomagolja a modult, így a belső aktiválásait a rendszer a visszalépés során újraszámítja, ahelyett, hogy tárolásra kerülne.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Gradiens Akkumuláció
Műszaki