Gids-gekoppelde quiz · Moeilijk Niveau
Quiz van ZeRO en Sharded Optimizers
Behandelt ZeRO-stadia, Adam-statusgeheugen, parameterverzameling, gradiëntreductie, offload-opties en communicatiekosten.
Vraag 1 van 8
Welke redundantie elimineert ZeRO vergeleken met gewoon dataparallellisme?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke redundantie elimineert ZeRO vergeleken met gewoon dataparallellisme?
- Dupliceer volledige kopieën van de optimalisatiestatus, gradiënten en parameters op elke GPU
- Dubbele kopieën van de trainingsgegevens op elke GPU
- Redundante netwerkkabels tussen knooppunten
- Herhaalde voorwaartse passages over dezelfde batch
- Waarom is de optimalisatiestatus vaak het grootste geheugenzwijn bij Adam?
- Adam slaat helemaal geen extra staat op
- Adam bewaart aanvullende waarden per parameter (zoals momentum en variantie), vaak meerdere malen de modelgrootte
- Adam dupliceert de volledige dataset
- Adam vereist dat elk verloop uit het verleden voor altijd wordt opgeslagen
- Wat doet ZeRO Stage 3 met wat Stage 1 en 2 niet doen?
- De trainingsgegevens
- De verliesfunctie
- De modelparameters zelf
- Het leersnelheidschema
- Hoe krijgt een GPU in ZeRO Stage 3 de volledige parameters die hij nodig heeft voor de voorwaartse doorgang van een laag?
- Het heeft nooit de volledige parameters nodig
- Het downloadt ze van internet
- Elke keer worden ze opnieuw berekend
- Het voert een verzamelactie uit om de ontbrekende plakjes te verzamelen en gooit ze daarna weg
- Welke PyTorch-functie implementeert native sharding in ZeRO-stijl?
- FSDP (volledig gedeelde gegevens parallel)
- Gegevenslader
- TorchScript
- Autograd
- Wat is de belangrijkste afweging die ZeRO maakt om geheugen te besparen?
- Het offert modelnauwkeurigheid op voor snelheid
- Het voegt extra communicatie toe om scherven te verzamelen en te verspreiden als dat nodig is
- Het verwijdert lagen uit het model
- Het werkt alleen met zeer kleine modellen
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients