Kvíz spojený s průvodcem · Střední úroveň
Kvíz datové paralelnosti
Prohlédněte si replikované modely, synchronizaci přechodů, dimenzování dávek, náklady na komunikaci a limity škálování školení mezi pracovníky.
Otázka 1 z 8
Co ve standardním datovém paralelismu obsahuje každý GPU?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ve standardním datovém paralelismu obsahuje každý GPU?
- Kompletní kopie modelu, zpracování jiného řezu dávky
- Jiný řez vrstev modelu
- Pouze stav optimalizátoru s centrálně uloženými vahami
- Komprimovaná verze modelu s méně parametry
- Která komunikační operace udržuje repliky modelu v synchronizaci při každém kroku?
- Broadcast, který zkopíruje data jednoho GPU do všech ostatních
- All-reduce, což zprůměruje gradienty napříč všemi GPU
- Scatter, který rozděluje data mezi GPU
- Mezi GPU není potřeba žádná komunikace
- Jaký limit paměti zůstává v paralelismu prostých dat?
- Celý model se automaticky rozdělí mezi GPU
- Paměť zařízení využívá pouze vstupní dávka
- Každý GPU uchovává parametry modelu a stav optimalizátoru replikované, čímž omezuje velikost modelu, která se hodí
- Každý pracovník ve výchozím nastavení ukládá různé vrstvy modelu
- Které faktory používá NCCL při výběru kolektivních algoritmů?
- Pouze náhodné semeno a rychlost učení
- Pouze celkový počet parametrů modelu
- Typ optimalizátoru a skóre ověření
- Velikost zprávy a topologie
- Jak PyTorch DistributedDataParallel skryje komunikační latenci?
- Překrytím gradientu vše zredukujte s probíhajícím zpětným průchodem
- Vynecháním synchronizace přechodu na střídavých krocích
- Komprimací všech přechodů do jediného čísla
- Spuštěním dopředného průchodu na CPU
- Jaká je globální dávka pro jeden synchronizovaný krok se stejnou velikostí místní dávky B na každém z W datově paralelních pracovníků?
- B děleno W
- B násobeno W, před jakýmkoli gradientově akumulačním faktorem
- Vždy přesně W vzorků
- Počet parametrů modelu dělený B
- Proč může přidání více datově paralelních GPU selhat při úměrném zvýšení propustnosti?
- All-reduce způsobí, že parametry modelu zmizí
- Model je zkopírován pouze jednomu pracovníkovi
- Přechodová komunikace, načítání dat a synchronizace zvyšují režii
- Více pracovníků vždy sníží globální dávku na nulu
- Co umožňuje akumulace gradientu datově paralelní tréninkové smyčce?
- Sdílené parametry automaticky u všech pracovníků
- Přeskočit dopředný a zpětný výpočet
- Nahraďte model operací úplného zmenšení
- Zkombinujte přechody z více mikrodávek před aktualizací optimalizátoru