Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Az optimalizáló állapotának letöltése a CPU-ra és az NVMe kvíz

Apply optimizer offloading memory accounting, host update placement, and transfer tradeoffs, including why offloading does not remove all GPU allocations.

kérdés 1 -ból 8

Mi az elsődleges célja az optimalizáló állapotok CPU-ra vagy NVMe-re való feltöltésének?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az elsődleges célja az optimalizáló állapotok CPU-ra vagy NVMe-re való feltöltésének?
    • A modell pontosabbá tétele érdekében
    • A szükséges képzési időszakok számának csökkentése érdekében
    • A színátmenetek szükségességének teljes kiküszöbölése
    • Nagyobb modellekhez való illeszkedés a szűkös GPU-memória felszabadításával
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Melyik keretrendszer népszerűsített nagyszabású optimalizáló tehermentesítése?
    • Új aktiválási funkció
    • JPEG képtömörítés
    • DeepSpeed ZeRO-Offload és ZeRO-Infinity
    • Gradiens vágás
  4. Mi a fő teljesítményköltsége a CPU-ra vagy az NVMe-re történő kitöltés esetén?
    • Az adatoknak lassabb hivatkozásokon, például PCIe-n vagy lemezre kell utazniuk, növelve a késleltetést
    • A modell elfelejti a korábbi képzést
    • Az optimalizáló matematikailag hibás lesz
    • A GPU hőmérséklete túl alacsonyra esik
  5. Hogyan rejtik el a tehermentesítő rendszerek az átviteli késleltetés nagy részét?
    • A hátramenet kihagyásával
    • Az adatok előzetes lekérésének átfedésével a folyamatban lévő GPU-számítással
    • Egyszerre csak egy paraméter betanításával
    • A vegyes pontosság letiltásával
  6. A ZeRO-Offloadban hol fut gyakran az Adam optimalizáló lépése?
    • Teljesen az NVMe vezérlőn
    • Külön kijelzőn GPU
    • A CPU-n, az ott tárolt mestersúlyok és momentumok használatával
    • A hálózati kapcsoló belsejében
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time