Kuiz berkaitan panduan · Keras Tahap

Kuiz Selari Data Berkongsi Penuh

Merangkumi serpihan FSDP, kumpul semua dan serakan, pertindihan komunikasi dan tukar ganti ingatan berbanding rangkaian dalam latihan model teragih yang besar.

Laluan panduan yang berkaitanData Berkongsi Penuh Selari
soalan 1 daripada 8

Apakah serpihan FSDP merentas GPU yang TIDAK dilakukan oleh selari data standard?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah serpihan FSDP merentas GPU yang TIDAK dilakukan oleh selari data standard?
    • Parameter, kecerunan dan keadaan pengoptimum
    • Hanya kumpulan input
    • Hanya jadual kadar pembelajaran
    • Fail set data latihan pada cakera
  2. Operasi kolektif manakah yang FSDP gunakan untuk membina semula pemberat penuh lapisan sejurus sebelum mengiranya?
    • Siaran sahaja
    • Semua berkumpul
    • berselerak
    • Penghalang
  3. Mengapakah FSDP membebaskan pemberat penuh yang terkumpul serta-merta selepas pengiraan lapisan?
    • Untuk merosakkan kecerunan yang tidak digunakan
    • Untuk memaksa gelung latihan yang lebih perlahan
    • Untuk mengekalkan jejak memori kekal kepada hanya satu serpihan setiap peranti
    • Kerana PyTorch memadamnya secara rawak
  4. FSDP sebahagian besarnya diilhamkan oleh pendekatan pengoptimuman memori yang lebih awal?
    • Google's MapReduce
    • Apache Spark RDDs
    • Teras CUDA NVIDIA
    • ZeRO (Pengoptimum Lebihan Sifar) Microsoft
  5. Bagaimanakah FSDP menyembunyikan kebanyakan kependaman rangkaian daripada mengumpul pemberat?
    • Dengan pertindihan komunikasi dengan pengiraan, pra-mengambil parameter lapisan seterusnya
    • Dengan melumpuhkan hantaran ke belakang
    • Dengan memampatkan pemberat kepada satu bit
    • Dengan latihan pada CPU sahaja
  6. Operasi kolektif manakah yang mengedarkan kepingan kecerunan gabungan kembali kepada GPU milik mereka dalam pas ke belakang?
    • Penduaan semua-ke-semua
    • Kurangkan-taburan
    • Salinan GPU tunggal
    • Berkumpul sahaja
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication