Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor DeepSpeed- en Megatron-trainingsstapels

Controleert ZeRO-sharding-fasen, tensor- en pijplijn-parallellisme, activeringscontrolepunten, offloading en gecombineerde 3D-parallelle training.

Vraag 1 van 8

Wat is het primaire doel van de ZeRO-optimizer van DeepSpeed?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het primaire doel van de ZeRO-optimizer van DeepSpeed?
    • Om de statussen, gradiënten en parameters van de optimalisatie over GPU's te verdelen om geheugen te besparen
    • Om het definitieve model voor implementatie te comprimeren
    • Modellen vertalen tussen raamwerken
    • Om trainingsgegevens automatisch te labelen
  2. Hoe splitst het tensor-parallellisme, zoals ontwikkeld in Megatron-LM, het model?
    • Door verschillende lagen op verschillende GPU’s te plaatsen
    • Door individuele matrixvermenigvuldigingen binnen een laag over GPU's te verdelen
    • Door elke GPU een andere batch gegevens te geven
    • Door verschillende tijdstappen op verschillende GPU's op te slaan
  3. Pijplijnparallellisme verschilt van tensorparallellisme omdat het model wordt gesplitst door:
    • Matrices in elke laag snijden
    • Het dupliceren van het hele model op elke GPU
    • Het toewijzen van verschillende lagen (fasen) aan verschillende GPU's
    • Kwantificeringsgewichten om de precisie te verlagen
  4. Welke ZeRO-fase levert de grootste geheugenbesparing op door ook de modelparameters zelf te sharden?
    • Fase 1
    • Fase 2
    • Fase 0
    • Fase 3
  5. Wat levert 'activation checkpointing' op om geheugen te besparen tijdens de training?
    • Extra rekenkracht, door activeringen tijdens de achterwaartse pass opnieuw te berekenen
    • Modelnauwkeurigheid
    • Netwerkbandbreedte
    • Het aantal lagen
  6. Waarom wordt het combineren van deze technieken vaak '3D-parallellisme' genoemd?
    • Het werkt alleen op 3D grafische kaarten
    • Het combineert data-, tensor- en pijplijnparallellisme langs drie assen
    • Er worden maximaal drie GPU's gebruikt
    • Het geeft modellen in drie dimensies weer
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Fase 0
    • Fase 2
    • Fase 1
    • Fase 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget