Gids-gekoppelde quiz · Moeilijk Niveau

Volledig gedeelde parallelle dataquiz

Dekt FSDP-sharding, all-gather en reduce-scatter, communicatie-overlap en de afweging tussen geheugen en netwerk bij het trainen van grote gedistribueerde modellen.

Vraag 1 van 8

Wat scheidt FSDP over GPU's dat standaard gegevensparallellisme NIET doet?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat scheidt FSDP over GPU's dat standaard gegevensparallellisme NIET doet?
    • Parameters, gradiënten en optimalisatiestatussen
    • Alleen de invoerbatches
    • Alleen het leersnelheidschema
    • De trainingsgegevenssetbestanden op schijf
  2. Welke collectieve operatie gebruikt FSDP om de volledige gewichten van een laag te reconstrueren vlak voordat deze wordt berekend?
    • Alleen uitzending
    • Allemaal verzamelen
    • Verstrooien
    • Barrière
  3. Waarom maakt FSDP de verzamelde volledige gewichten onmiddellijk na de berekening van een laag vrij?
    • Om ongebruikte verlopen te corrumperen
    • Om een langzamere trainingslus te forceren
    • Om de permanente geheugenvoetafdruk op slechts één scherf per apparaat te houden
    • Omdat PyTorch ze willekeurig verwijdert
  4. Door welke eerdere benadering van geheugenoptimalisatie werd FSDP grotendeels geïnspireerd?
    • Google's MapReduce
    • Apache Spark RDD's
    • NVIDIA's CUDA-kernen
    • Microsoft's ZeRO (Zero Redundancy Optimizer)
  5. Hoe verbergt FSDP een groot deel van de netwerklatentie voor gewichtstoename?
    • Door de communicatie te overlappen met berekeningen, worden de parameters van de volgende laag vooraf opgehaald
    • Door de achterwaartse pass uit te schakelen
    • Door gewichten tot één bit te comprimeren
    • Door alleen op de CPU te trainen
  6. Welke collectieve operatie distribueert gecombineerde gradiëntplakken terug naar hun eigen GPU's in de achterwaartse pass?
    • Alles-op-alles dubbel
    • Reduceer verstrooiing
    • Kopie met één GPU
    • Alleen verzamelen
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication