Test legat de ghid · Greu Nivel

Testul ZerO și Sharded Optimizers

Covers ZeRO stages, Adam state memory, parameter gathering, gradient reduction, offload options, and communication costs.

Căi de ghidare aferenteOptimizatoare zero și fragmentate
Întrebare 1 de 8

Ce redundanță elimină ZeRO în comparație cu paralelismul simplu de date?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce redundanță elimină ZeRO în comparație cu paralelismul simplu de date?
    • Duplicați copii complete ale stării, gradienților și parametrilor optimizatorului pe fiecare GPU
    • Copii duplicate ale datelor de antrenament pe fiecare GPU
    • Cabluri de rețea redundante între noduri
    • Treceri repetate înainte peste același lot
  2. De ce starea optimizatorului este adesea cel mai mare porc de memorie cu Adam?
    • Adam nu stochează nicio stare suplimentară
    • Adam păstrează valori suplimentare pe parametru (cum ar fi impulsul și varianța), adesea de câteva ori mai mari decât dimensiunea modelului
    • Adam duplică întregul set de date
    • Adam are nevoie să păstreze pentru totdeauna fiecare gradient din trecut
  3. Ce fragmente ZeRO Stage 3 nu fac etapele 1 și 2?
    • Datele de antrenament
    • Funcția de pierdere
    • Parametrii modelului în sine
    • Programul ratei de învățare
  4. În ZeRO Stage 3, cum obține un GPU toți parametrii de care are nevoie pentru trecerea înainte a unui strat?
    • Nu are nevoie niciodată de parametrii completi
    • Le descarcă de pe internet
    • Le recalculează de la zero de fiecare dată
    • Efectuează o colectare totală pentru a colecta feliile lipsă, apoi le aruncă după aceea
  5. Ce caracteristică PyTorch implementează în mod nativ fragmentarea în stilul ZeRO?
    • FSDP (Fully Sharded Data Parallel)
    • DataLoader
    • TorchScript
    • Autograd
  6. Care este compromisul de bază pe care îl face ZeRO pentru a economisi memorie?
    • Sacrifică precizia modelului pentru viteză
    • Adaugă o comunicare suplimentară pentru a aduna și împrăștia cioburi după cum este necesar
    • Îndepărtează straturi din model
    • Functioneaza doar cu modele foarte mici
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients