Kuis ZeRO dan Pengoptimal Sharded

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Redundansi apa yang dihilangkan ZeRO dibandingkan dengan paralelisme data biasa?
   • Gandakan salinan lengkap status pengoptimal, gradien, dan parameter di setiap GPU
   • Salinan duplikat data pelatihan pada setiap GPU
   • Kabel jaringan redundan antar node
   • Maju berulang melewati kumpulan yang sama
2. Mengapa status pengoptimal sering kali merupakan memori terbesar bagi Adam?
   • Adam tidak menyimpan keadaan tambahan sama sekali
   • Adam menyimpan nilai tambahan per parameter (seperti momentum dan varians), seringkali beberapa kali lipat ukuran model
   • Adam menduplikasi seluruh kumpulan data
   • Adam perlu menyimpan setiap gradien masa lalu selamanya
3. Apa yang dimiliki pecahan ZeRO Tahap 3 yang tidak dimiliki Tahap 1 dan 2?
   • Data pelatihan
   • Fungsi kerugian
   • Parameter model itu sendiri
   • Jadwal kecepatan pembelajaran
4. Di ZeRO Tahap 3, bagaimana GPU mendapatkan parameter lengkap yang dibutuhkan untuk forward pass suatu lapisan?
   • Itu tidak memerlukan parameter lengkap
   • Itu mengunduhnya dari internet
   • Itu menghitung ulang mereka dari awal setiap kali
   • Ia melakukan pengumpulan semua untuk mengumpulkan irisan yang hilang, lalu membuangnya sesudahnya
5. Fitur PyTorch manakah yang secara asli mengimplementasikan sharding gaya ZeRO?
   • FSDP (Paralel Data Terpecah Sepenuhnya)
   • Pemuat Data
   • skrip obor
   • Kelas Otomatis
6. Apa pengorbanan inti yang dilakukan ZeRO untuk menghemat memori?
   • Ini mengorbankan akurasi model demi kecepatan
   • Ini menambahkan komunikasi ekstra untuk mengumpulkan dan menyebarkan pecahan sesuai kebutuhan
   • Ini menghilangkan lapisan dari model
   • Ini hanya berfungsi dengan model yang sangat kecil
7. Which state is partitioned in ZeRO Stage 1?
   • Only parameters, with optimizer states replicated
   • Parameters, gradients, and optimizer states all sharded
   • Optimizer states, while parameters and gradients remain replicated
   • Only input activations and labels
8. What is a practical cost of ZeRO-style sharding?
   • It removes the need to calculate gradients
   • It makes every optimizer update local with no data exchange
   • It requires the model to be retrained from scratch for every step
   • Additional communication to gather parameters and distribute gradients