Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz równoległy w pełni podzielonych danych

Obejmuje sharding FSDP, gromadzenie wszystkich danych i redukcję rozproszenia, nakładanie się komunikacji oraz kompromisy między pamięcią a siecią w przypadku uczenia dużych modeli rozproszonych.

Powiązane ścieżki prowadząceW pełni podzielone dane równolegle
Pytanie 1 z 8

Co powoduje fragmentację FSDP między procesorami graficznymi, czego NIE robi standardowa równoległość danych?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co powoduje fragmentację FSDP między procesorami graficznymi, czego NIE robi standardowa równoległość danych?
    • Parametry, gradienty i stany optymalizatora
    • Tylko partie wejściowe
    • Tylko harmonogram tempa nauki
    • Pliki zestawu danych szkoleniowych na dysku
  2. Jakiej zbiorczej operacji używa FSDP do rekonstrukcji pełnych ciężarów warstwy tuż przed jej obliczeniem?
    • Tylko transmisja
    • Zbierzcie się wszyscy
    • Rozproszyć
    • Bariera
  3. Dlaczego FSDP uwalnia zebrane pełne ciężary natychmiast po obliczeniu warstwy?
    • Aby uszkodzić nieużywane gradienty
    • Aby wymusić wolniejszą pętlę treningową
    • Aby utrzymać stały ślad pamięci na poziomie tylko jednego fragmentu na urządzenie
    • Ponieważ PyTorch usuwa je losowo
  4. Które wcześniejsze podejście do optymalizacji pamięci w dużej mierze zainspirowało FSDP?
    • MapReduce Google
    • Apache Spark RDD
    • Rdzenie CUDA firmy NVIDIA
    • Microsoft firmy Zero (Optymalizator zerowej redundancji)
  5. W jaki sposób FSDP ukrywa większość opóźnień sieci przed gromadzeniem wag?
    • Nakładając komunikację na obliczenia, pobierając z wyprzedzeniem parametry następnej warstwy
    • Wyłączając przejście do tyłu
    • Kompresując wagi do jednego bitu
    • Trenując wyłącznie na procesorze
  6. Która operacja zbiorcza dystrybuuje połączone plasterki gradientu z powrotem do własnych procesorów graficznych w przebiegu wstecznym?
    • Duplikacja typu „wszyscy do wszystkich”.
    • Redukcja-rozproszenie
    • Kopia z pojedynczą kartą graficzną
    • Tylko do zbierania
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication