Kvíz spojený s průvodcem · Těžko úroveň
Snížení stavu optimalizátoru na CPU a kvíz NVMe
Použijte optimalizátor účtování paměti, umístění aktualizace hostitele a převody, včetně toho, proč snížení zátěže neodstraní všechny alokace GPU.
Otázka 1 z 8
Jaký je primární cíl přesunutí stavů optimalizátoru na CPU nebo NVMe?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je primární cíl přesunutí stavů optimalizátoru na CPU nebo NVMe?
- Aby byl model přesnější
- Snížit počet potřebných tréninkových epoch
- Chcete-li zcela eliminovat potřebu přechodů
- Pro větší modely uvolněním omezené paměti GPU
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- Která funkce frameworku popularizovala rozsáhlé snižování zátěže optimalizátoru?
- Nová aktivační funkce
- Komprese obrázků JPEG
- DeepSpeed ZeRO-Offload a ZeRO-Infinity
- Oříznutí přechodu
- Jaké jsou hlavní náklady na výkon přenesení na CPU nebo NVMe?
- Data musí putovat přes pomalejší spoje, jako je PCIe, nebo na disk, což zvyšuje latenci
- Modelka zapomene dřívější trénink
- Optimalizátor se stane matematicky nesprávným
- Teplota GPU klesá příliš nízko
- Jak systémy vykládky skryjí velkou část latence přenosu?
- Přeskočením zpětného průchodu
- Překrýváním předběžného načítání dat s probíhajícím výpočtem GPU
- Trénováním pouze jednoho parametru najednou
- Zakázáním smíšené přesnosti
- Kde se v ZeRO-Offload často provádí krok optimalizátoru Adam?
- Zcela na ovladači NVMe
- Na samostatném displeji GPU
- Na CPU pomocí hlavních vah a momentů, které jsou tam uloženy
- Uvnitř síťového přepínače
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time