Kuiz berkaitan panduan · Keras Tahap
Pemunggahan Keadaan Pengoptimum ke CPU dan Kuiz NVMe
Gunakan perakaunan memori pemunggahan pengoptimum, peletakan kemas kini hos dan tukar ganti pemindahan, termasuk sebab pemunggahan tidak mengalih keluar semua peruntukan GPU.
soalan 1 daripada 8
Apakah matlamat utama untuk memunggah keadaan pengoptimum ke CPU atau NVMe?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah matlamat utama untuk memunggah keadaan pengoptimum ke CPU atau NVMe?
- Untuk menjadikan model lebih tepat
- Untuk mengurangkan bilangan zaman latihan yang diperlukan
- Untuk menghapuskan keperluan untuk kecerunan sepenuhnya
- Untuk memuatkan model yang lebih besar dengan membebaskan memori GPU yang terhad
- Untuk persediaan Adam dengan dua momen FP32 dan berat induk FP32, berapa banyak memori yang digunakan oleh ketiga-tiga nilai tersebut bagi setiap parameter?
- Two bytes for all three values
- Twelve bytes, excluding model weights and gradients
- Sixteen bytes for the three values alone
- Zero bytes because they are implicit
- Ciri rangka kerja manakah yang mempopularkan pemunggahan pengoptimum berskala besar?
- Fungsi pengaktifan baharu
- Pemampatan imej JPEG
- DeepSpeed ZeRO-Offload dan ZeRO-Infinity
- Keratan kecerunan
- Apakah kos prestasi utama pemunggahan ke CPU atau NVMe?
- Data mesti bergerak melalui pautan yang lebih perlahan seperti PCIe atau ke cakera, menambah kependaman
- Model itu lupa latihan awal
- Pengoptimum menjadi tidak betul secara matematik
- Suhu GPU turun terlalu rendah
- Bagaimanakah sistem pemunggahan menyembunyikan kebanyakan kependaman pemindahan?
- Dengan melangkau hantaran ke belakang
- Dengan pertindihan prefetching data dengan pengiraan GPU yang berterusan
- Dengan melatih hanya satu parameter pada satu masa
- Dengan melumpuhkan ketepatan campuran
- Dalam ZeRO-Offload, di manakah langkah pengoptimuman Adam sering dilaksanakan?
- Sepenuhnya pada pengawal NVMe
- Pada paparan GPU yang berasingan
- Pada CPU, menggunakan pemberat induk dan momen yang disimpan di sana
- Di dalam suis rangkaian
- Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
- The job can still run out of GPU memory
- Offloading guarantees the job fits any GPU
- The optimizer moments automatically become model activations
- The model no longer needs forward tensors
- A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
- Only the inference accuracy
- The UI font used for training logs
- Only the number of dataset classes
- Host optimizer-update time and host-device transfer time