Kvíz spojený s průvodcem · Těžko úroveň
Kvíz ZeRO a Sharded Optimizers
Pokrývá stupně ZeRO, paměť stavu Adam, shromažďování parametrů, redukci gradientu, možnosti snížení zátěže a náklady na komunikaci.
Otázka 1 z 8
Jakou redundanci odstraňuje ZeRO ve srovnání s paralelním zpracováním prostých dat?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou redundanci odstraňuje ZeRO ve srovnání s paralelním zpracováním prostých dat?
- Duplikujte úplné kopie stavu optimalizátoru, přechodů a parametrů na každém GPU
- Duplicitní kopie trénovacích dat na každém GPU
- Redundantní síťové kabely mezi uzly
- Opakované přechody vpřed přes stejnou dávku
- Proč je stav optimalizátoru u Adama často největší pamětí?
- Adam neukládá vůbec žádný stav navíc
- Adam uchovává další hodnoty pro jednotlivé parametry (jako je hybnost a rozptyl), často několikanásobně větší než velikost modelu
- Adam duplikuje celý soubor dat
- Adam vyžaduje, aby si každý minulý gradient navždy uložil
- Co přináší úlomek ZeRO Stage 3 a Stage 1 a 2 nikoli?
- Tréninková data
- Ztrátová funkce
- Samotné parametry modelu
- Rozvrh míry učení
- Jak v ZeRO Stage 3 získá GPU úplné parametry, které potřebuje pro dopředný průchod vrstvy?
- Nikdy nepotřebuje plné parametry
- Stahuje je z internetu
- Pokaždé je přepočítá od nuly
- Provede shromažďování všech chybějících plátků a poté je zahodí
- Která funkce PyTorch nativně implementuje sharding ve stylu ZeRO?
- FSDP (Fully Shard Data Parallel)
- DataLoader
- TorchScript
- Autograd
- Jaký je základní kompromis ZeRO pro úsporu paměti?
- Obětuje přesnost modelu kvůli rychlosti
- Přidává další komunikaci pro shromažďování a rozptylování střepů podle potřeby
- Odstraní vrstvy z modelu
- Funguje pouze u velmi malých modelů
- Which state is partitioned in ZeRO Stage 1?
- Only parameters, with optimizer states replicated
- Parameters, gradients, and optimizer states all sharded
- Optimizer states, while parameters and gradients remain replicated
- Only input activations and labels
- What is a practical cost of ZeRO-style sharding?
- It removes the need to calculate gradients
- It makes every optimizer update local with no data exchange
- It requires the model to be retrained from scratch for every step
- Additional communication to gather parameters and distribute gradients