Descărcarea stării optimizatorului în CPU și test NVMe

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este obiectivul principal de descărcare a stărilor de optimizare către CPU sau NVMe?
   • Pentru a face modelul mai precis
   • Pentru a reduce numărul de epoci de pregătire necesare
   • Pentru a elimina complet nevoia de gradiente
   • Pentru a se potrivi modelelor mai mari prin eliberarea memoriei GPU limitate
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. Ce caracteristică cadru a popularizat descărcarea la scară largă a optimizatorului?
   • O nouă funcție de activare
   • Comprimarea imaginii JPEG
   • DeepSpeed ZeRO-Offload și ZeRO-Infinity
   • Tăiere în gradient
4. Care este costul principal de performanță al descărcarii pe CPU sau NVMe?
   • Datele trebuie să circule prin legături mai lente, cum ar fi PCIe sau pe disc, adăugând latență
   • Modelul uită antrenamentele anterioare
   • Optimizatorul devine incorect din punct de vedere matematic
   • Temperatura GPU scade prea mult
5. Cum ascund sistemele de descărcare o mare parte din latența de transfer?
   • Omitând trecerea înapoi
   • Prin suprapunerea preluării datelor cu calculul GPU în curs
   • Antrenând doar un parametru la un moment dat
   • Prin dezactivarea preciziei mixte
6. În ZeRO-Offload, unde se execută adesea pasul de optimizare Adam?
   • În întregime pe controlerul NVMe
   • Pe un GPU de afișare separat
   • Pe CPU, folosind greutățile și momentele master stocate acolo
   • În interiorul comutatorului de rețea
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time