Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Az optimalizáló állapotának letöltése a CPU-ra és az NVMe kvíz
Apply optimizer offloading memory accounting, host update placement, and transfer tradeoffs, including why offloading does not remove all GPU allocations.
kérdés 1 -ból 8
Mi az elsődleges célja az optimalizáló állapotok CPU-ra vagy NVMe-re való feltöltésének?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az elsődleges célja az optimalizáló állapotok CPU-ra vagy NVMe-re való feltöltésének?
- A modell pontosabbá tétele érdekében
- A szükséges képzési időszakok számának csökkentése érdekében
- A színátmenetek szükségességének teljes kiküszöbölése
- Nagyobb modellekhez való illeszkedés a szűkös GPU-memória felszabadításával
- For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- Melyik keretrendszer népszerűsített nagyszabású optimalizáló tehermentesítése?
- Új aktiválási funkció
- JPEG képtömörítés
- DeepSpeed ZeRO-Offload és ZeRO-Infinity
- Gradiens vágás
- Mi a fő teljesítményköltsége a CPU-ra vagy az NVMe-re történő kitöltés esetén?
- Az adatoknak lassabb hivatkozásokon, például PCIe-n vagy lemezre kell utazniuk, növelve a késleltetést
- A modell elfelejti a korábbi képzést
- Az optimalizáló matematikailag hibás lesz
- A GPU hőmérséklete túl alacsonyra esik
- Hogyan rejtik el a tehermentesítő rendszerek az átviteli késleltetés nagy részét?
- A hátramenet kihagyásával
- Az adatok előzetes lekérésének átfedésével a folyamatban lévő GPU-számítással
- Egyszerre csak egy paraméter betanításával
- A vegyes pontosság letiltásával
- A ZeRO-Offloadban hol fut gyakran az Adam optimalizáló lépése?
- Teljesen az NVMe vezérlőn
- Külön kijelzőn GPU
- A CPU-n, az ott tárolt mestersúlyok és momentumok használatával
- A hálózati kapcsoló belsejében
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time