Útmutatóhoz kapcsolódó kvíz · Kemény Szint
ZeRO és Sharded Optimizers kvíz
Covers ZeRO stages, Adam state memory, parameter gathering, gradient reduction, offload options, and communication costs.
kérdés 1 -ból 8
Milyen redundanciát küszöböl ki a ZeRO a sima adatpárhuzamhoz képest?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen redundanciát küszöböl ki a ZeRO a sima adatpárhuzamhoz képest?
- Minden GPU-n megkettőzheti az optimalizáló állapotának, színátmeneteinek és paramétereinek teljes másolatát
- A betanítási adatok másodpéldányai minden GPU-n
- Redundáns hálózati kábelek a csomópontok között
- Ismételt előrelépések ugyanazon a tételen
- Miért az optimalizáló állapota gyakran a legnagyobb memóriazavar Ádámnál?
- Adam egyáltalán nem tárol extra állapotot
- Adam további paraméterenkénti értékeket tart (például lendületet és szórást), gyakran a modell méretének többszörösét
- Adam megkettőzi a teljes adatkészletet
- Ádámnak minden múltbeli gradienst örökre el kell tárolnia
- Mit tartalmaz a ZeRO Stage 3 szilánkja, amit az 1. és 2. szakasz nem?
- Az edzés adatai
- A veszteség függvény
- Maguk a modell paraméterei
- A tanulási ütem ütemezése
- A ZeRO Stage 3-ban hogyan kapja meg a GPU a réteg előrehaladásához szükséges összes paramétert?
- Soha nem kell a teljes paraméter
- Letölti őket az internetről
- Minden alkalommal a semmiből újraszámítja őket
- Mindent összegyűjt, hogy összegyűjtse a hiányzó szeleteket, majd eldobja őket
- Melyik PyTorch-szolgáltatás valósítja meg natívan a ZeRO-stílusú felosztást?
- FSDP (teljesen megosztott adatokkal párhuzamos)
- DataLoader
- TorchScript
- Autograd
- Mi a ZeRO alapvető kompromisszuma a memória megtakarítása érdekében?
- Feláldozza a modell pontosságát a sebességért
- Extra kommunikációt biztosít a szilánkok összegyűjtéséhez és szükség szerinti szétszórásához
- Eltávolítja a rétegeket a modellről
- Csak nagyon kicsi modellekkel működik
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients