Kvíz spojený s průvodcem · Těžko úroveň

Kvíz ZeRO a Sharded Optimizers

Pokrývá stupně ZeRO, paměť stavu Adam, shromažďování parametrů, redukci gradientu, možnosti snížení zátěže a náklady na komunikaci.

Související vodicí cestyZero And Shard Optimizers
Otázka 1 z 8

Jakou redundanci odstraňuje ZeRO ve srovnání s paralelním zpracováním prostých dat?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou redundanci odstraňuje ZeRO ve srovnání s paralelním zpracováním prostých dat?
    • Duplikujte úplné kopie stavu optimalizátoru, přechodů a parametrů na každém GPU
    • Duplicitní kopie trénovacích dat na každém GPU
    • Redundantní síťové kabely mezi uzly
    • Opakované přechody vpřed přes stejnou dávku
  2. Proč je stav optimalizátoru u Adama často největší pamětí?
    • Adam neukládá vůbec žádný stav navíc
    • Adam uchovává další hodnoty pro jednotlivé parametry (jako je hybnost a rozptyl), často několikanásobně větší než velikost modelu
    • Adam duplikuje celý soubor dat
    • Adam vyžaduje, aby si každý minulý gradient navždy uložil
  3. Co přináší úlomek ZeRO Stage 3 a Stage 1 a 2 nikoli?
    • Tréninková data
    • Ztrátová funkce
    • Samotné parametry modelu
    • Rozvrh míry učení
  4. Jak v ZeRO Stage 3 získá GPU úplné parametry, které potřebuje pro dopředný průchod vrstvy?
    • Nikdy nepotřebuje plné parametry
    • Stahuje je z internetu
    • Pokaždé je přepočítá od nuly
    • Provede shromažďování všech chybějících plátků a poté je zahodí
  5. Která funkce PyTorch nativně implementuje sharding ve stylu ZeRO?
    • FSDP (Fully Shard Data Parallel)
    • DataLoader
    • TorchScript
    • Autograd
  6. Jaký je základní kompromis ZeRO pro úsporu paměti?
    • Obětuje přesnost modelu kvůli rychlosti
    • Přidává další komunikaci pro shromažďování a rozptylování střepů podle potřeby
    • Odstraní vrstvy z modelu
    • Funguje pouze u velmi malých modelů
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients