Kuiz berkaitan panduan · Keras Tahap

Kuiz Timbunan Latihan DeepSpeed dan Megatron

Memeriksa peringkat serpihan ZeRO, selari tensor dan saluran paip, titik semakan pengaktifan, pemunggahan dan gabungan latihan selari 3D.

Laluan panduan yang berkaitanTimbunan Latihan Kelajuan Dalam Dan Megatron
soalan 1 daripada 8

Apakah tujuan utama pengoptimum ZeRO DeepSpeed?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah tujuan utama pengoptimum ZeRO DeepSpeed?
    • Untuk keadaan pengoptimuman shard, kecerunan dan parameter merentas GPU untuk menjimatkan memori
    • Untuk memampatkan model akhir untuk penggunaan
    • Untuk menterjemah model antara rangka kerja
    • Untuk melabel data latihan secara automatik
  2. Keselarian tensor, seperti yang dipelopori dalam Megatron-LM, membahagikan model bagaimana?
    • Dengan meletakkan lapisan yang berbeza pada GPU yang berbeza
    • Dengan menghiris pendaraban matriks individu dalam satu lapisan merentas GPU
    • Dengan memberikan setiap GPU kumpulan data yang berbeza
    • Dengan menyimpan langkah masa yang berbeza pada GPU yang berbeza
  3. Keselarian saluran paip berbeza daripada keselarian tensor kerana ia membahagikan model dengan:
    • Menghiris matriks di dalam setiap lapisan
    • Menduakan keseluruhan model pada setiap GPU
    • Menetapkan lapisan (peringkat) yang berbeza kepada GPU yang berbeza
    • Mengkuantisasi berat kepada ketepatan yang lebih rendah
  4. Peringkat ZeRO yang manakah memberikan penjimatan memori yang paling besar dengan turut membahagikan parameter model itu sendiri?
    • Peringkat 1
    • Peringkat 2
    • Peringkat 0
    • Peringkat 3
  5. Apakah 'activation checkpointing' menukar untuk menjimatkan memori semasa latihan?
    • Pengiraan tambahan, dengan mengira semula pengaktifan semasa hantaran ke belakang
    • Ketepatan model
    • Jalur lebar rangkaian
    • Bilangan lapisan
  6. Mengapa menggabungkan teknik ini sering dipanggil 'keselarian 3D'?
    • Ia hanya berfungsi pada kad grafik 3D
    • Ia menggabungkan data, tensor, dan selari saluran paip di sepanjang tiga paksi
    • Ia menggunakan maksimum tiga GPU
    • Ia menjadikan model dalam tiga dimensi
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Peringkat 0
    • Peringkat 2
    • Peringkat 1
    • Peringkat 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget