Útmutatóhoz kapcsolódó kvíz · Kemény Szint
DeepSpeed és Megatron Training Stacks kvíz
Checks ZeRO sharding stages, tensor and pipeline parallelism, activation checkpointing, offloading and combined 3D parallel training.
kérdés 1 -ból 8
Mi a DeepSpeed ZeRO optimalizálójának elsődleges célja?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a DeepSpeed ZeRO optimalizálójának elsődleges célja?
- Az optimalizáló állapotainak, színátmeneteinek és paramétereinek felosztása a GPU-k között a memória megtakarítása érdekében
- A végső modell tömörítése a telepítéshez
- Modellek lefordítása keretrendszerek között
- Az edzésadatok automatikus felcímkézéséhez
- A Megatron-LM-ben úttörő tenzorpárhuzam hogyan osztja meg a modellt?
- Különböző rétegek különböző GPU-kra helyezésével
- Egyedi mátrixszorzások szeletelésével egy rétegen belül a GPU-k között
- Azáltal, hogy minden GPU-nak különböző adatcsomagot ad
- Különböző időlépések tárolásával különböző GPU-kon
- A csővezeték párhuzamossága abban különbözik a tenzor párhuzamosságtól, hogy felosztja a modellt:
- Szelet mátrixok az egyes rétegeken belül
- A teljes modell megkettőzése minden GPU-n
- Különböző rétegek (szakaszok) hozzárendelése a különböző GPU-khoz
- Súlyok kvantálása a pontosság csökkentése érdekében
- Melyik ZeRO fokozat biztosítja a legnagyobb memóriamegtakarítást azáltal, hogy magukat a modellparamétereket is feldarabolja?
- 1. szakasz
- 2. szakasz
- 0. szakasz
- 3. szakasz
- Mit vált ki az „aktiválási ellenőrzőpont”, hogy memóriát takarítson meg edzés közben?
- Extra számítás a visszafelé lépés során történt aktiválások újraszámításával
- Modell pontosság
- Hálózati sávszélesség
- A rétegek száma
- Miért nevezik e technikák kombinálását gyakran „3D-s párhuzamosságnak”?
- Csak 3D grafikus kártyákon működik
- Három tengely mentén egyesíti az adatokat, a tenzort és a csővezeték párhuzamosságát
- Maximum három GPU-t használ
- Három dimenzióban jeleníti meg a modelleket
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- 0. szakasz
- 2. szakasz
- 1. szakasz
- 3. szakasz
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget