Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Upakiaji wa Hali ya Optimizer kwa CPU na Maswali ya NVMe

Tekeleza uhasibu wa upakiaji wa kumbukumbu ya kiboreshaji, uwekaji wa sasisho la seva pangishi, na ubadilishanaji wa uhamisho, ikiwa ni pamoja na kwa nini upakiaji hauondoi mgao wote wa GPU.

Njia za mwongozo zinazohusianaOptimizer State Inapakia Kwa Cpu na Nvme
Swali 1 ya 8

Ni nini lengo la msingi la kupakia majimbo ya kiboreshaji kwa CPU au NVMe?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Ni nini lengo la msingi la kupakia majimbo ya kiboreshaji kwa CPU au NVMe?
    • Ili kufanya mfano kuwa sahihi zaidi
    • Ili kupunguza idadi ya vipindi vya mafunzo vinavyohitajika
    • Ili kuondoa kabisa hitaji la gradients
    • Ili kutoshea miundo mikubwa zaidi kwa kufungia kumbukumbu adimu ya GPU
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Ni mfumo gani unaoangazia upakiaji wa viboreshaji kwa kiwango kikubwa?
    • Kitendaji kipya cha kuwezesha
    • Ukandamizaji wa picha ya JPEG
    • DeepSpeed ZeRO-Offload na ZeRO-Infinity
    • Ukataji wa gradient
  4. Ni gharama gani kuu ya upakiaji wa CPU au NVMe?
    • Data lazima isafiri kwa viungo vya polepole kama vile PCIe au kwenye diski, na kuongeza muda wa kusubiri
    • Mfano husahau mafunzo ya awali
    • Kiboreshaji kinakuwa si sahihi kihisabati
    • Halijoto ya GPU hupungua chini sana
  5. Mifumo ya upakiaji huficha vipi muda mwingi wa uhamishaji?
    • Kwa kuruka pasi ya nyuma
    • Kwa kuingiliana kwa uletaji awali wa data na ukokotoaji unaoendelea wa GPU
    • Kwa mafunzo parameter moja tu kwa wakati mmoja
    • Kwa kulemaza usahihi mchanganyiko
  6. Katika ZeRO-Offload, hatua ya kuongeza nguvu ya Adamu mara nyingi hutekelezwa wapi?
    • Kabisa kwenye kidhibiti cha NVMe
    • Kwenye onyesho tofauti la GPU
    • Kwenye CPU, kwa kutumia uzani mkuu na nyakati zilizohifadhiwa hapo
    • Ndani ya kubadili mtandao
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time