Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Teljesen megosztott adatok párhuzamos kvíz
Covers FSDP sharding, all-gather and reduce-scatter, communication overlap, and memory-versus-network tradeoffs in large distributed model training.
kérdés 1 -ból 8
Mit tör meg az FSDP a GPU-k között, amit a szabványos adatpárhuzam NEM?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit tör meg az FSDP a GPU-k között, amit a szabványos adatpárhuzam NEM?
- Paraméterek, színátmenetek és optimalizáló állapotok
- Csak a bemeneti kötegek
- Csak a tanulási ütem ütemezése
- A képzési adatkészlet fájljai a lemezen
- Melyik kollektív műveletet használja az FSDP egy réteg teljes súlyának rekonstruálására közvetlenül a számítás előtt?
- Csak adás
- Mindent összegyűjteni
- Szórás
- Gát
- Miért szabadítja fel az FSDP az összegyűjtött teljes súlyokat közvetlenül a réteg számítása után?
- A fel nem használt színátmenetek megsértése
- A lassabb edzési kör kikényszerítésére
- Hogy az állandó memóriaterület csak egy szilánk maradjon eszközönként
- Mivel a PyTorch véletlenszerűen törli őket
- Az FSDP-t nagyrészt melyik korábbi memóriaoptimalizálási megközelítés ihlette?
- Google MapReduce
- Apache Spark RDD-k
- Az NVIDIA CUDA magjai
- Microsoft's ZeRO (Zero Redundancia Optimizer)
- Hogyan rejti el az FSDP a hálózati késleltetés nagy részét a súlygyűjtés elől?
- A kommunikáció és a számítás átfedésével a következő réteg paramétereinek előhívása
- A hátramenet letiltásával
- A súlyok egy bitre való tömörítésével
- Csak CPU-n való képzéssel
- Melyik kollektív művelet osztja vissza a kombinált gradiens szeleteket a saját GPU-jukhoz a visszafelé menetben?
- Mindent-mindkettő
- Csökkentés-szórás
- Egy GPU-s másolat
- Csak gyülekezésre
- Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
- It removes all model parameters during training
- It converts optimizer states into network requests
- Each rank stores a shard of model state instead of a full copy
- It places every activation permanently on the CPU
- What is a central systems tradeoff in FSDP?
- Lower memory and no communication at any point
- More replicated parameters in exchange for fewer data samples
- Replacing training with inference
- Lower per-device memory use in exchange for collective communication