Kvíz spojený s průvodcem · Těžko úroveň

Plně sdílený datový paralelní kvíz

Pokrývá FSDP sharding, vše-shromažďování a snižování-rozptyl, překrývání komunikace a kompromisy mezi pamětí a sítí v tréninku velkých distribuovaných modelů.

Související vodicí cestyPlně sdílená data paralelně
Otázka 1 z 8

Co FSDP sdílí mezi GPU a standardní datový paralelismus NE?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co FSDP sdílí mezi GPU a standardní datový paralelismus NE?
    • Parametry, přechody a stavy optimalizátoru
    • Pouze vstupní dávky
    • Pouze rozvrh výuky
    • Soubory tréninkových datových sad na disku
  2. Jakou hromadnou operaci používá FSDP k rekonstrukci plných vah vrstvy těsně před jejím výpočtem?
    • Pouze vysílání
    • Všichni-shromáždit
    • Rozptýlit
    • Bariéra
  3. Proč FSDP uvolňuje shromážděné plné váhy ihned po výpočtu vrstvy?
    • K poškození nepoužívaných přechodů
    • Vynutit si pomalejší tréninkovou smyčku
    • Chcete-li zachovat trvalou paměťovou stopu pouze na jednom úlomku na zařízení
    • Protože je PyTorch maže náhodně
  4. FSDP byl z velké části inspirován kterým dřívějším přístupem k optimalizaci paměti?
    • MapReduce od Google
    • Apache Spark RDD
    • CUDA jádra NVIDIA
    • Microsoft's ZeRO (Zero Redundancy Optimizer)
  5. Jak FSDP skryje velkou část latence sítě před získáváním závaží?
    • Překrýváním komunikace s výpočtem, přednačítáním parametrů další vrstvy
    • Vypnutím zpětného průchodu
    • Stlačením závaží na jeden bit
    • Tréninkem pouze na CPU
  6. Která kolektivní operace při zpětném průchodu distribuuje kombinované řezy gradientu zpět do jejich vlastnících GPU?
    • Všestranná duplikace
    • Snížit-rozptyl
    • Kopie s jedním GPU
    • Pouze shromažďování
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication