Kvíz spojený s průvodcem · Těžko úroveň
Plně sdílený datový paralelní kvíz
Pokrývá FSDP sharding, vše-shromažďování a snižování-rozptyl, překrývání komunikace a kompromisy mezi pamětí a sítí v tréninku velkých distribuovaných modelů.
Otázka 1 z 8
Co FSDP sdílí mezi GPU a standardní datový paralelismus NE?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co FSDP sdílí mezi GPU a standardní datový paralelismus NE?
- Parametry, přechody a stavy optimalizátoru
- Pouze vstupní dávky
- Pouze rozvrh výuky
- Soubory tréninkových datových sad na disku
- Jakou hromadnou operaci používá FSDP k rekonstrukci plných vah vrstvy těsně před jejím výpočtem?
- Pouze vysílání
- Všichni-shromáždit
- Rozptýlit
- Bariéra
- Proč FSDP uvolňuje shromážděné plné váhy ihned po výpočtu vrstvy?
- K poškození nepoužívaných přechodů
- Vynutit si pomalejší tréninkovou smyčku
- Chcete-li zachovat trvalou paměťovou stopu pouze na jednom úlomku na zařízení
- Protože je PyTorch maže náhodně
- FSDP byl z velké části inspirován kterým dřívějším přístupem k optimalizaci paměti?
- MapReduce od Google
- Apache Spark RDD
- CUDA jádra NVIDIA
- Microsoft's ZeRO (Zero Redundancy Optimizer)
- Jak FSDP skryje velkou část latence sítě před získáváním závaží?
- Překrýváním komunikace s výpočtem, přednačítáním parametrů další vrstvy
- Vypnutím zpětného průchodu
- Stlačením závaží na jeden bit
- Tréninkem pouze na CPU
- Která kolektivní operace při zpětném průchodu distribuuje kombinované řezy gradientu zpět do jejich vlastnících GPU?
- Všestranná duplikace
- Snížit-rozptyl
- Kopie s jedním GPU
- Pouze shromažďování
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication