Gids-gekoppelde quiz · Moeilijk Niveau
Volledig gedeelde parallelle dataquiz
Dekt FSDP-sharding, all-gather en reduce-scatter, communicatie-overlap en de afweging tussen geheugen en netwerk bij het trainen van grote gedistribueerde modellen.
Vraag 1 van 8
Wat scheidt FSDP over GPU's dat standaard gegevensparallellisme NIET doet?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat scheidt FSDP over GPU's dat standaard gegevensparallellisme NIET doet?
- Parameters, gradiënten en optimalisatiestatussen
- Alleen de invoerbatches
- Alleen het leersnelheidschema
- De trainingsgegevenssetbestanden op schijf
- Welke collectieve operatie gebruikt FSDP om de volledige gewichten van een laag te reconstrueren vlak voordat deze wordt berekend?
- Alleen uitzending
- Allemaal verzamelen
- Verstrooien
- Barrière
- Waarom maakt FSDP de verzamelde volledige gewichten onmiddellijk na de berekening van een laag vrij?
- Om ongebruikte verlopen te corrumperen
- Om een langzamere trainingslus te forceren
- Om de permanente geheugenvoetafdruk op slechts één scherf per apparaat te houden
- Omdat PyTorch ze willekeurig verwijdert
- Door welke eerdere benadering van geheugenoptimalisatie werd FSDP grotendeels geïnspireerd?
- Google's MapReduce
- Apache Spark RDD's
- NVIDIA's CUDA-kernen
- Microsoft's ZeRO (Zero Redundancy Optimizer)
- Hoe verbergt FSDP een groot deel van de netwerklatentie voor gewichtstoename?
- Door de communicatie te overlappen met berekeningen, worden de parameters van de volgende laag vooraf opgehaald
- Door de achterwaartse pass uit te schakelen
- Door gewichten tot één bit te comprimeren
- Door alleen op de CPU te trainen
- Welke collectieve operatie distribueert gecombineerde gradiëntplakken terug naar hun eigen GPU's in de achterwaartse pass?
- Alles-op-alles dubbel
- Reduceer verstrooiing
- Kopie met één GPU
- Alleen verzamelen
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication