Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Teljesen megosztott adatok párhuzamos kvíz

Covers FSDP sharding, all-gather and reduce-scatter, communication overlap, and memory-versus-network tradeoffs in large distributed model training.

Kapcsolódó útmutató utakTeljesen megosztott adatok párhuzamosan
kérdés 1 -ból 8

Mit tör meg az FSDP a GPU-k között, amit a szabványos adatpárhuzam NEM?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit tör meg az FSDP a GPU-k között, amit a szabványos adatpárhuzam NEM?
    • Paraméterek, színátmenetek és optimalizáló állapotok
    • Csak a bemeneti kötegek
    • Csak a tanulási ütem ütemezése
    • A képzési adatkészlet fájljai a lemezen
  2. Melyik kollektív műveletet használja az FSDP egy réteg teljes súlyának rekonstruálására közvetlenül a számítás előtt?
    • Csak adás
    • Mindent összegyűjteni
    • Szórás
    • Gát
  3. Miért szabadítja fel az FSDP az összegyűjtött teljes súlyokat közvetlenül a réteg számítása után?
    • A fel nem használt színátmenetek megsértése
    • A lassabb edzési kör kikényszerítésére
    • Hogy az állandó memóriaterület csak egy szilánk maradjon eszközönként
    • Mivel a PyTorch véletlenszerűen törli őket
  4. Az FSDP-t nagyrészt melyik korábbi memóriaoptimalizálási megközelítés ihlette?
    • Google MapReduce
    • Apache Spark RDD-k
    • Az NVIDIA CUDA magjai
    • Microsoft's ZeRO (Zero Redundancia Optimizer)
  5. Hogyan rejti el az FSDP a hálózati késleltetés nagy részét a súlygyűjtés elől?
    • A kommunikáció és a számítás átfedésével a következő réteg paramétereinek előhívása
    • A hátramenet letiltásával
    • A súlyok egy bitre való tömörítésével
    • Csak CPU-n való képzéssel
  6. Melyik kollektív művelet osztja vissza a kombinált gradiens szeleteket a saját GPU-jukhoz a visszafelé menetben?
    • Mindent-mindkettő
    • Csökkentés-szórás
    • Egy GPU-s másolat
    • Csak gyülekezésre
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication