Útmutatóhoz kapcsolódó kvíz · Kemény Szint

DeepSpeed és Megatron Training Stacks kvíz

Checks ZeRO sharding stages, tensor and pipeline parallelism, activation checkpointing, offloading and combined 3D parallel training.

Kapcsolódó útmutató utakDeepspeed és Megatron Training Stackek
kérdés 1 -ból 8

Mi a DeepSpeed ​​ZeRO optimalizálójának elsődleges célja?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a DeepSpeed ​​ZeRO optimalizálójának elsődleges célja?
    • Az optimalizáló állapotainak, színátmeneteinek és paramétereinek felosztása a GPU-k között a memória megtakarítása érdekében
    • A végső modell tömörítése a telepítéshez
    • Modellek lefordítása keretrendszerek között
    • Az edzésadatok automatikus felcímkézéséhez
  2. A Megatron-LM-ben úttörő tenzorpárhuzam hogyan osztja meg a modellt?
    • Különböző rétegek különböző GPU-kra helyezésével
    • Egyedi mátrixszorzások szeletelésével egy rétegen belül a GPU-k között
    • Azáltal, hogy minden GPU-nak különböző adatcsomagot ad
    • Különböző időlépések tárolásával különböző GPU-kon
  3. A csővezeték párhuzamossága abban különbözik a tenzor párhuzamosságtól, hogy felosztja a modellt:
    • Szelet mátrixok az egyes rétegeken belül
    • A teljes modell megkettőzése minden GPU-n
    • Különböző rétegek (szakaszok) hozzárendelése a különböző GPU-khoz
    • Súlyok kvantálása a pontosság csökkentése érdekében
  4. Melyik ZeRO fokozat biztosítja a legnagyobb memóriamegtakarítást azáltal, hogy magukat a modellparamétereket is feldarabolja?
    • 1. szakasz
    • 2. szakasz
    • 0. szakasz
    • 3. szakasz
  5. Mit vált ki az „aktiválási ellenőrzőpont”, hogy memóriát takarítson meg edzés közben?
    • Extra számítás a visszafelé lépés során történt aktiválások újraszámításával
    • Modell pontosság
    • Hálózati sávszélesség
    • A rétegek száma
  6. Miért nevezik e technikák kombinálását gyakran „3D-s párhuzamosságnak”?
    • Csak 3D grafikus kártyákon működik
    • Három tengely mentén egyesíti az adatokat, a tenzort és a csővezeték párhuzamosságát
    • Maximum három GPU-t használ
    • Három dimenzióban jeleníti meg a modelleket
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • 0. szakasz
    • 2. szakasz
    • 1. szakasz
    • 3. szakasz
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget