Kvíz spojený s průvodcem · Střední úroveň

Kvíz datové paralelnosti

Prohlédněte si replikované modely, synchronizaci přechodů, dimenzování dávek, náklady na komunikaci a limity škálování školení mezi pracovníky.

Související vodicí cestyDatová paralelismus
Otázka 1 z 8

Co ve standardním datovém paralelismu obsahuje každý GPU?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ve standardním datovém paralelismu obsahuje každý GPU?
    • Kompletní kopie modelu, zpracování jiného řezu dávky
    • Jiný řez vrstev modelu
    • Pouze stav optimalizátoru s centrálně uloženými vahami
    • Komprimovaná verze modelu s méně parametry
  2. Která komunikační operace udržuje repliky modelu v synchronizaci při každém kroku?
    • Broadcast, který zkopíruje data jednoho GPU do všech ostatních
    • All-reduce, což zprůměruje gradienty napříč všemi GPU
    • Scatter, který rozděluje data mezi GPU
    • Mezi GPU není potřeba žádná komunikace
  3. Jaký limit paměti zůstává v paralelismu prostých dat?
    • Celý model se automaticky rozdělí mezi GPU
    • Paměť zařízení využívá pouze vstupní dávka
    • Každý GPU uchovává parametry modelu a stav optimalizátoru replikované, čímž omezuje velikost modelu, která se hodí
    • Každý pracovník ve výchozím nastavení ukládá různé vrstvy modelu
  4. Které faktory používá NCCL při výběru kolektivních algoritmů?
    • Pouze náhodné semeno a rychlost učení
    • Pouze celkový počet parametrů modelu
    • Typ optimalizátoru a skóre ověření
    • Velikost zprávy a topologie
  5. Jak PyTorch DistributedDataParallel skryje komunikační latenci?
    • Překrytím gradientu vše zredukujte s probíhajícím zpětným průchodem
    • Vynecháním synchronizace přechodu na střídavých krocích
    • Komprimací všech přechodů do jediného čísla
    • Spuštěním dopředného průchodu na CPU
  6. Jaká je globální dávka pro jeden synchronizovaný krok se stejnou velikostí místní dávky B na každém z W datově paralelních pracovníků?
    • B děleno W
    • B násobeno W, před jakýmkoli gradientově akumulačním faktorem
    • Vždy přesně W vzorků
    • Počet parametrů modelu dělený B
  7. Proč může přidání více datově paralelních GPU selhat při úměrném zvýšení propustnosti?
    • All-reduce způsobí, že parametry modelu zmizí
    • Model je zkopírován pouze jednomu pracovníkovi
    • Přechodová komunikace, načítání dat a synchronizace zvyšují režii
    • Více pracovníků vždy sníží globální dávku na nulu
  8. Co umožňuje akumulace gradientu datově paralelní tréninkové smyčce?
    • Sdílené parametry automaticky u všech pracovníků
    • Přeskočit dopředný a zpětný výpočet
    • Nahraďte model operací úplného zmenšení
    • Zkombinujte přechody z více mikrodávek před aktualizací optimalizátoru