Test legat de ghid · Greu Nivel

Test paralel cu date complet fragmentate

Covers FSDP sharding, all-gather and reduce-scatter, communication overlap, and memory-versus-network tradeoffs in large distributed model training.

Căi de ghidare aferenteParalel de date complet fragmentate
Întrebare 1 de 8

Ce fragmentează FSDP pe GPU-uri, ceea ce paralelismul standard de date NU face?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce fragmentează FSDP pe GPU-uri, ceea ce paralelismul standard de date NU face?
    • Parametri, gradienți și stări de optimizare
    • Doar loturile de intrare
    • Doar programul ratei de învățare
    • Fișierele setului de date de antrenament de pe disc
  2. Ce operațiune colectivă folosește FSDP pentru a reconstrui greutățile complete ale unui strat chiar înainte de a-l calcula?
    • Numai difuzare
    • Adună toți
    • împrăștiați
    • Bariera
  3. De ce FSDP eliberează greutățile complete adunate imediat după calculul unui strat?
    • Pentru a corupe gradienții neutilizați
    • Pentru a forța o buclă de antrenament mai lentă
    • Pentru a menține amprenta permanentă a memoriei la doar un fragment pe dispozitiv
    • Pentru că PyTorch le șterge aleatoriu
  4. FSDP a fost în mare parte inspirat de ce abordare anterioară de optimizare a memoriei?
    • MapReduce lui Google
    • Apache Spark RDD-uri
    • Nucleele CUDA ale NVIDIA
    • ZeRO (Zero Redundancy Optimizer) de la Microsoft
  5. Cum ascunde FSDP o mare parte din latența rețelei de la adunare de greutăți?
    • Prin suprapunerea comunicației cu calculul, preluând parametrii stratului următor
    • Prin dezactivarea trecerii înapoi
    • Prin comprimarea greutăților la un bit
    • Prin antrenament numai pe CPU
  6. Ce operațiune colectivă distribuie felii de gradient combinate înapoi la GPU-urile proprii în trecerea înapoi?
    • Dublare totală
    • Reduce-împrăștiere
    • Copie cu un singur GPU
    • Doar adunare
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication