Gids-gekoppelde quiz · Moeilijk Niveau

Quiz van ZeRO en Sharded Optimizers

Behandelt ZeRO-stadia, Adam-statusgeheugen, parameterverzameling, gradiëntreductie, offload-opties en communicatiekosten.

Gerelateerde gidspadenNul- en gedeelde optimizers
Vraag 1 van 8

Welke redundantie elimineert ZeRO vergeleken met gewoon dataparallellisme?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke redundantie elimineert ZeRO vergeleken met gewoon dataparallellisme?
    • Dupliceer volledige kopieën van de optimalisatiestatus, gradiënten en parameters op elke GPU
    • Dubbele kopieën van de trainingsgegevens op elke GPU
    • Redundante netwerkkabels tussen knooppunten
    • Herhaalde voorwaartse passages over dezelfde batch
  2. Waarom is de optimalisatiestatus vaak het grootste geheugenzwijn bij Adam?
    • Adam slaat helemaal geen extra staat op
    • Adam bewaart aanvullende waarden per parameter (zoals momentum en variantie), vaak meerdere malen de modelgrootte
    • Adam dupliceert de volledige dataset
    • Adam vereist dat elk verloop uit het verleden voor altijd wordt opgeslagen
  3. Wat doet ZeRO Stage 3 met wat Stage 1 en 2 niet doen?
    • De trainingsgegevens
    • De verliesfunctie
    • De modelparameters zelf
    • Het leersnelheidschema
  4. Hoe krijgt een GPU in ZeRO Stage 3 de volledige parameters die hij nodig heeft voor de voorwaartse doorgang van een laag?
    • Het heeft nooit de volledige parameters nodig
    • Het downloadt ze van internet
    • Elke keer worden ze opnieuw berekend
    • Het voert een verzamelactie uit om de ontbrekende plakjes te verzamelen en gooit ze daarna weg
  5. Welke PyTorch-functie implementeert native sharding in ZeRO-stijl?
    • FSDP (volledig gedeelde gegevens parallel)
    • Gegevenslader
    • TorchScript
    • Autograd
  6. Wat is de belangrijkste afweging die ZeRO maakt om geheugen te besparen?
    • Het offert modelnauwkeurigheid op voor snelheid
    • Het voegt extra communicatie toe om scherven te verzamelen en te verspreiden als dat nodig is
    • Het verwijdert lagen uit het model
    • Het werkt alleen met zeer kleine modellen
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients