Kvíz spojený s průvodcem · Těžko úroveň

Snížení stavu optimalizátoru na CPU a kvíz NVMe

Použijte optimalizátor účtování paměti, umístění aktualizace hostitele a převody, včetně toho, proč snížení zátěže neodstraní všechny alokace GPU.

Otázka 1 z 8

Jaký je primární cíl přesunutí stavů optimalizátoru na CPU nebo NVMe?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je primární cíl přesunutí stavů optimalizátoru na CPU nebo NVMe?
    • Aby byl model přesnější
    • Snížit počet potřebných tréninkových epoch
    • Chcete-li zcela eliminovat potřebu přechodů
    • Pro větší modely uvolněním omezené paměti GPU
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Která funkce frameworku popularizovala rozsáhlé snižování zátěže optimalizátoru?
    • Nová aktivační funkce
    • Komprese obrázků JPEG
    • DeepSpeed ZeRO-Offload a ZeRO-Infinity
    • Oříznutí přechodu
  4. Jaké jsou hlavní náklady na výkon přenesení na CPU nebo NVMe?
    • Data musí putovat přes pomalejší spoje, jako je PCIe, nebo na disk, což zvyšuje latenci
    • Modelka zapomene dřívější trénink
    • Optimalizátor se stane matematicky nesprávným
    • Teplota GPU klesá příliš nízko
  5. Jak systémy vykládky skryjí velkou část latence přenosu?
    • Přeskočením zpětného průchodu
    • Překrýváním předběžného načítání dat s probíhajícím výpočtem GPU
    • Trénováním pouze jednoho parametru najednou
    • Zakázáním smíšené přesnosti
  6. Kde se v ZeRO-Offload často provádí krok optimalizátoru Adam?
    • Zcela na ovladači NVMe
    • Na samostatném displeji GPU
    • Na CPU pomocí hlavních vah a momentů, které jsou tam uloženy
    • Uvnitř síťového přepínače
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time