Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor DeepSpeed- en Megatron-trainingsstapels
Controleert ZeRO-sharding-fasen, tensor- en pijplijn-parallellisme, activeringscontrolepunten, offloading en gecombineerde 3D-parallelle training.
Vraag 1 van 8
Wat is het primaire doel van de ZeRO-optimizer van DeepSpeed?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het primaire doel van de ZeRO-optimizer van DeepSpeed?
- Om de statussen, gradiënten en parameters van de optimalisatie over GPU's te verdelen om geheugen te besparen
- Om het definitieve model voor implementatie te comprimeren
- Modellen vertalen tussen raamwerken
- Om trainingsgegevens automatisch te labelen
- Hoe splitst het tensor-parallellisme, zoals ontwikkeld in Megatron-LM, het model?
- Door verschillende lagen op verschillende GPU’s te plaatsen
- Door individuele matrixvermenigvuldigingen binnen een laag over GPU's te verdelen
- Door elke GPU een andere batch gegevens te geven
- Door verschillende tijdstappen op verschillende GPU's op te slaan
- Pijplijnparallellisme verschilt van tensorparallellisme omdat het model wordt gesplitst door:
- Matrices in elke laag snijden
- Het dupliceren van het hele model op elke GPU
- Het toewijzen van verschillende lagen (fasen) aan verschillende GPU's
- Kwantificeringsgewichten om de precisie te verlagen
- Welke ZeRO-fase levert de grootste geheugenbesparing op door ook de modelparameters zelf te sharden?
- Fase 1
- Fase 2
- Fase 0
- Fase 3
- Wat levert 'activation checkpointing' op om geheugen te besparen tijdens de training?
- Extra rekenkracht, door activeringen tijdens de achterwaartse pass opnieuw te berekenen
- Modelnauwkeurigheid
- Netwerkbandbreedte
- Het aantal lagen
- Waarom wordt het combineren van deze technieken vaak '3D-parallellisme' genoemd?
- Het werkt alleen op 3D grafische kaarten
- Het combineert data-, tensor- en pijplijnparallellisme langs drie assen
- Er worden maximaal drie GPU's gebruikt
- Het geeft modellen in drie dimensies weer
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- Fase 0
- Fase 2
- Fase 1
- Fase 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget