Pembongkaran Status Pengoptimal ke CPU dan Kuis NVMe

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa tujuan utama memindahkan status pengoptimal ke CPU atau NVMe?
   • Untuk membuat model lebih akurat
   • Untuk mengurangi jumlah periode pelatihan yang dibutuhkan
   • Untuk menghilangkan kebutuhan akan gradien sepenuhnya
   • Untuk menyesuaikan model yang lebih besar dengan mengosongkan memori GPU yang terbatas
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. Kerangka kerja mana yang mempopulerkan pembongkaran pengoptimal skala besar?
   • Fungsi aktivasi baru
   • Kompresi gambar JPEG
   • DeepSpeed ZeRO-Offload dan ZeRO-Infinity
   • Kliping gradien
4. Berapa biaya kinerja utama dari pembongkaran ke CPU atau NVMe?
   • Data harus dikirim melalui tautan yang lebih lambat seperti PCIe atau ke disk, sehingga menambah latensi
   • Model tersebut melupakan pelatihan sebelumnya
   • Pengoptimal menjadi salah secara matematis
   • Suhu GPU turun terlalu rendah
5. Bagaimana sistem pembongkaran menyembunyikan sebagian besar latensi transfer?
   • Dengan melewatkan umpan mundur
   • Dengan tumpang tindih pengambilan data dengan komputasi GPU yang sedang berlangsung
   • Dengan melatih hanya satu parameter dalam satu waktu
   • Dengan menonaktifkan presisi campuran
6. Di ZeRO-Offload, di manakah langkah pengoptimal Adam sering dijalankan?
   • Sepenuhnya ada di pengontrol NVMe
   • Pada tampilan terpisah GPU
   • Di CPU, menggunakan bobot master dan momen yang disimpan di sana
   • Di dalam saklar jaringan
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time