Műszaki ÚTMUTATÓ

Az optimalizáló állapotának letöltése a CPU-ra és az NVMe-re

Memóriakímélő trükk, amely a szűkös GPU-memória helyett a CPU RAM-ban vagy az NVMe SSD-n tárolja az edzések nehéz könyvelését (optimalizáló állapotok, színátmenetek, néha súlyok).

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az optimalizáló állapotának CPU-ra és NVMe-re történő kitöltés jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It lets people train far larger models than their GPU's memory would otherwise allow.

Mély merülés

Amikor egy neurális hálózatot edz egy optimalizálóval, mint Adam, minden paraméter plusz poggyászt hordoz: két futási statisztika (impulzus és szórás), plusz a súly teljes pontosságú másolata, plusz a gradiens. A vegyes precíziós edzéseknél ez paraméterenként nagyjából 16 bájtot jelenthet, ami eltörpül magának a súlynak a 2 bájtja mellett. A kirakodás áthelyezi ezt a poggyászt a GPU-ról. A CPU tehermentesítése az optimalizáló állapotokat a normál rendszer RAM-ba továbbítja a PCIe buszon keresztül, míg az NVMe tehermentesítése egészen a gyors szilárdtestalapú lemezekre tolja le őket. A DeepSpeed ​​ZeRO-Infinity és ZeRO-Offload által népszerűsített technika a nyers sebességet kapacitásra cseréli, lehetővé téve egyetlen GPU-nak vagy kis klaszternek a több milliárd paraméterrel rendelkező modellek finomhangolását.

Valós megvalósítás

DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.

A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.

A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.

A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.

Az optimalizáló állapotának CPU-ra és NVMe-re történő kitöltés jövője

Ahogy a modellek egyre növekszik a GPU-memórián, a többszintű lerakodás inkább standard, mint egzotikus. Szorosabb integrációra számíthat a gyorsabb összekapcsolásokkal, például az NVLink-C2C és CXL memóriakészletekkel, amelyek elmossák a CPU-GPU határvonalat, valamint az intelligensebb ütemezőket, amelyek megjósolják, hogy mely állapotokat kell előzetesen letölteni. Az egyesített memóriás architektúrák, például a Grace Hopper csökkentik a PCIe-büntetést, a keretrendszerek pedig a többszintű tehermentesítés szinte átláthatóvá tétele felé törekednek, így a hobbibarátok szerény hardveren finomhangolhatják a nagy modelleket.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Optimizer State Offloading to CPU and NVMe quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Optimizer State Offloading to CPU and NVMe?

Memóriakímélő trükk, amely a szűkös GPU-memória helyett a CPU RAM-ban vagy az NVMe SSD-n tárolja az edzések nehéz könyvelését (optimalizáló állapotok, színátmenetek, néha súlyok). Lehetővé teszi az emberek számára, hogy sokkal nagyobb modelleket képezzenek ki, mint amennyit a GPU memóriája egyébként lehetővé tenne.

Mi az elsődleges célja az optimalizáló állapotok CPU-ra vagy NVMe-re való feltöltésének?

A tehermentesítés a nehéz optimalizálási állapotokat a GPU-ról a CPU RAM-ba vagy az NVMe-be helyezi át, felszabadítva a GPU memóriáját, így a nagyobb modelleket ugyanazon a hardveren lehet betanítani.

For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?

Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.

Melyik keretrendszer népszerűsített nagyszabású optimalizáló tehermentesítése?

A DeepSpeed ​​ZeRO-Offload és ZeRO-Infinity bevezette és népszerűsítette a CPU és az NVMe tehermentesítési optimalizáló állapotait.

Mi a fő teljesítményköltsége a CPU-ra vagy az NVMe-re történő kitöltés esetén?

A GPU-n kívüli állapotok áthelyezése azt jelenti, hogy az adatokat PCIe-n vagy NVMe-n keresztül továbbítjuk, ami lassabb, mint a GPU-n belüli memória, így az átviteli sebesség csökken, hacsak nincs átfedésben a számítással.

Hogyan rejtik el a tehermentesítő rendszerek az átviteli késleltetés nagy részét?

Az ütemezők előre letöltik a szükséges partíciókat PCIe-n keresztül, miközben a GPU még számítástechnikailag végzi a munkát, átfedve a kommunikációt a számítással a késleltetés elfedése érdekében.