Kuiz berkaitan panduan · Keras Tahap

Kuiz ZeRO dan Sharded Optimizers

Meliputi peringkat ZeRO, ingatan keadaan Adam, pengumpulan parameter, pengurangan kecerunan, pilihan pemuatan dan kos komunikasi.

Laluan panduan yang berkaitanPengoptimum Sifar Dan Sharded
soalan 1 daripada 8

Apakah redundansi yang dihilangkan oleh ZeRO berbanding dengan keselarian data biasa?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah redundansi yang dihilangkan oleh ZeRO berbanding dengan keselarian data biasa?
    • Salin salinan penuh keadaan pengoptimum, kecerunan dan parameter pada setiap GPU
    • Salinan pendua data latihan pada setiap GPU
    • Kabel rangkaian berlebihan antara nod
    • Hantaran hadapan berulang ke atas kumpulan yang sama
  2. Mengapakah keadaan pengoptimum selalunya menjadi hog memori terbesar dengan Adam?
    • Adam tidak menyimpan keadaan tambahan sama sekali
    • Adam menyimpan nilai per parameter tambahan (seperti momentum dan varians), selalunya beberapa kali ganda saiz model
    • Adam menduplikasi keseluruhan set data
    • Adam memerlukan menyimpan setiap kecerunan lalu selama-lamanya
  3. Apakah serpihan ZeRO Peringkat 3 yang tidak dilakukan oleh Peringkat 1 dan 2?
    • Data latihan
    • Fungsi kehilangan
    • Parameter model itu sendiri
    • Jadual kadar pembelajaran
  4. Dalam Peringkat ZeRO 3, bagaimanakah GPU mendapat parameter penuh yang diperlukan untuk hantaran hadapan lapisan?
    • Ia tidak memerlukan parameter penuh
    • Ia memuat turunnya dari internet
    • Ia mengira semula mereka dari awal setiap kali
    • Ia melakukan pengumpulan semua untuk mengumpul kepingan yang hilang, kemudian membuangnya selepas itu
  5. Ciri PyTorch manakah yang melaksanakan sharding gaya ZeRO secara asli?
    • FSDP (Sejajar Data Berkongsi Penuh)
    • DataLoader
    • TorchScript
    • Autograd
  6. Apakah tradeoff teras yang dibuat oleh ZeRO untuk menjimatkan memori?
    • Ia mengorbankan ketepatan model untuk kelajuan
    • Ia menambah komunikasi tambahan untuk mengumpul dan menabur serpihan seperti yang diperlukan
    • Ia mengeluarkan lapisan daripada model
    • Ia hanya berfungsi dengan model yang sangat kecil
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients