Kuis terkait panduan · Keras Tingkat

Kuis Tumpukan Pelatihan DeepSpeed dan Megatron

Memeriksa tahapan sharding ZeRO, paralelisme tensor dan pipeline, pos pemeriksaan aktivasi, pembongkaran, dan pelatihan paralel 3D gabungan.

Jalur panduan terkaitTumpukan Pelatihan Deepspeed dan Megatron
Pertanyaan 1 dari 8

Apa tujuan utama pengoptimal ZeRO DeepSpeed?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa tujuan utama pengoptimal ZeRO DeepSpeed?
    • Untuk membagi status pengoptimal, gradien, dan parameter di seluruh GPU untuk menghemat memori
    • Untuk mengompresi model akhir untuk penerapan
    • Untuk menerjemahkan model antar kerangka kerja
    • Untuk memberi label pada data pelatihan secara otomatis
  2. Paralelisme tensor, seperti yang dirintis Megatron-LM, bagaimana membagi model?
    • Dengan menempatkan lapisan berbeda pada GPU berbeda
    • Dengan membagi perkalian matriks individual dalam satu lapisan di seluruh GPU
    • Dengan memberikan kumpulan data yang berbeda kepada setiap GPU
    • Dengan menyimpan langkah waktu yang berbeda pada GPU yang berbeda
  3. Paralelisme saluran pipa berbeda dari paralelisme tensor karena model ini membagi model menjadi:
    • Mengiris matriks di dalam setiap lapisan
    • Menduplikasi seluruh model di setiap GPU
    • Menetapkan lapisan (tahapan) yang berbeda ke GPU yang berbeda
    • Mengkuantisasi bobot untuk menurunkan presisi
  4. Tahap ZeRO manakah yang memberikan penghematan memori terbesar dengan juga membagi parameter model itu sendiri?
    • Tahap 1
    • Tahap 2
    • Tahap 0
    • Tahap 3
  5. Apa gunanya 'pos pemeriksaan aktivasi' untuk menghemat memori selama pelatihan?
    • Komputasi ekstra, dengan menghitung ulang aktivasi selama proses backward pass
    • Akurasi model
    • Bandwidth jaringan
    • Jumlah lapisan
  6. Mengapa penggabungan teknik ini sering disebut 'paralelisme 3D'?
    • Ini hanya berfungsi pada kartu grafis 3D
    • Ini menggabungkan data, tensor, dan paralelisme pipa sepanjang tiga sumbu
    • Ini menggunakan maksimal tiga GPU
    • Ini membuat model dalam tiga dimensi
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Tahap 0
    • Tahap 2
    • Tahap 1
    • Tahap 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget