Útmutatóhoz kapcsolódó kvíz · Kemény Szint

ZeRO és Sharded Optimizers kvíz

Covers ZeRO stages, Adam state memory, parameter gathering, gradient reduction, offload options, and communication costs.

Kapcsolódó útmutató utakNulla és felosztott optimalizálók
kérdés 1 -ból 8

Milyen redundanciát küszöböl ki a ZeRO a sima adatpárhuzamhoz képest?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen redundanciát küszöböl ki a ZeRO a sima adatpárhuzamhoz képest?
    • Minden GPU-n megkettőzheti az optimalizáló állapotának, színátmeneteinek és paramétereinek teljes másolatát
    • A betanítási adatok másodpéldányai minden GPU-n
    • Redundáns hálózati kábelek a csomópontok között
    • Ismételt előrelépések ugyanazon a tételen
  2. Miért az optimalizáló állapota gyakran a legnagyobb memóriazavar Ádámnál?
    • Adam egyáltalán nem tárol extra állapotot
    • Adam további paraméterenkénti értékeket tart (például lendületet és szórást), gyakran a modell méretének többszörösét
    • Adam megkettőzi a teljes adatkészletet
    • Ádámnak minden múltbeli gradienst örökre el kell tárolnia
  3. Mit tartalmaz a ZeRO Stage 3 szilánkja, amit az 1. és 2. szakasz nem?
    • Az edzés adatai
    • A veszteség függvény
    • Maguk a modell paraméterei
    • A tanulási ütem ütemezése
  4. A ZeRO Stage 3-ban hogyan kapja meg a GPU a réteg előrehaladásához szükséges összes paramétert?
    • Soha nem kell a teljes paraméter
    • Letölti őket az internetről
    • Minden alkalommal a semmiből újraszámítja őket
    • Mindent összegyűjt, hogy összegyűjtse a hiányzó szeleteket, majd eldobja őket
  5. Melyik PyTorch-szolgáltatás valósítja meg natívan a ZeRO-stílusú felosztást?
    • FSDP (teljesen megosztott adatokkal párhuzamos)
    • DataLoader
    • TorchScript
    • Autograd
  6. Mi a ZeRO alapvető kompromisszuma a memória megtakarítása érdekében?
    • Feláldozza a modell pontosságát a sebességért
    • Extra kommunikációt biztosít a szilánkok összegyűjtéséhez és szükség szerinti szétszórásához
    • Eltávolítja a rétegeket a modellről
    • Csak nagyon kicsi modellekkel működik
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients