LegközelebbKövetkező útmutató
Adam és az adaptív optimalizálók
Műszaki
Műszaki ÚTMUTATÓ
Memóriakímélő trükk, amely a szűkös GPU-memória helyett a CPU RAM-ban vagy az NVMe SSD-n tárolja az edzések nehéz könyvelését (optimalizáló állapotok, színátmenetek, néha súlyok).
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It lets people train far larger models than their GPU's memory would otherwise allow.
Amikor egy neurális hálózatot edz egy optimalizálóval, mint Adam, minden paraméter plusz poggyászt hordoz: két futási statisztika (impulzus és szórás), plusz a súly teljes pontosságú másolata, plusz a gradiens. A vegyes precíziós edzéseknél ez paraméterenként nagyjából 16 bájtot jelenthet, ami eltörpül magának a súlynak a 2 bájtja mellett. A kirakodás áthelyezi ezt a poggyászt a GPU-ról. A CPU tehermentesítése az optimalizáló állapotokat a normál rendszer RAM-ba továbbítja a PCIe buszon keresztül, míg az NVMe tehermentesítése egészen a gyors szilárdtestalapú lemezekre tolja le őket. A DeepSpeed ZeRO-Infinity és ZeRO-Offload által népszerűsített technika a nyers sebességet kapacitásra cseréli, lehetővé téve egyetlen GPU-nak vagy kis klaszternek a több milliárd paraméterrel rendelkező modellek finomhangolását.
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
Ahogy a modellek egyre növekszik a GPU-memórián, a többszintű lerakodás inkább standard, mint egzotikus. Szorosabb integrációra számíthat a gyorsabb összekapcsolásokkal, például az NVLink-C2C és CXL memóriakészletekkel, amelyek elmossák a CPU-GPU határvonalat, valamint az intelligensebb ütemezőket, amelyek megjósolják, hogy mely állapotokat kell előzetesen letölteni. Az egyesített memóriás architektúrák, például a Grace Hopper csökkentik a PCIe-büntetést, a keretrendszerek pedig a többszintű tehermentesítés szinte átláthatóvá tétele felé törekednek, így a hobbibarátok szerény hardveren finomhangolhatják a nagy modelleket.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Memóriakímélő trükk, amely a szűkös GPU-memória helyett a CPU RAM-ban vagy az NVMe SSD-n tárolja az edzések nehéz könyvelését (optimalizáló állapotok, színátmenetek, néha súlyok). Lehetővé teszi az emberek számára, hogy sokkal nagyobb modelleket képezzenek ki, mint amennyit a GPU memóriája egyébként lehetővé tenne.
A tehermentesítés a nehéz optimalizálási állapotokat a GPU-ról a CPU RAM-ba vagy az NVMe-be helyezi át, felszabadítva a GPU memóriáját, így a nagyobb modelleket ugyanazon a hardveren lehet betanítani.
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
A DeepSpeed ZeRO-Offload és ZeRO-Infinity bevezette és népszerűsítette a CPU és az NVMe tehermentesítési optimalizáló állapotait.
A GPU-n kívüli állapotok áthelyezése azt jelenti, hogy az adatokat PCIe-n vagy NVMe-n keresztül továbbítjuk, ami lassabb, mint a GPU-n belüli memória, így az átviteli sebesség csökken, hacsak nincs átfedésben a számítással.
Az ütemezők előre letöltik a szükséges partíciókat PCIe-n keresztül, miközben a GPU még számítástechnikailag végzi a munkát, átfedve a kommunikációt a számítással a késleltetés elfedése érdekében.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Adam és az adaptív optimalizálók
Műszaki