Kuis terkait panduan · Keras Tingkat

Kuis Paralel Data yang Dipecah Sepenuhnya

Mencakup sharding FSDP, pengumpulan semua dan pengurangan penyebaran, tumpang tindih komunikasi, dan trade-off memori versus jaringan dalam pelatihan model terdistribusi besar.

Jalur panduan terkaitParalel Data Terpecah Sepenuhnya
Pertanyaan 1 dari 8

Apa yang dilakukan FSDP di seluruh GPU yang TIDAK dimiliki oleh paralelisme data standar?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang dilakukan FSDP di seluruh GPU yang TIDAK dimiliki oleh paralelisme data standar?
    • Parameter, gradien, dan status pengoptimal
    • Hanya kumpulan masukan
    • Hanya jadwal kecepatan pemelajaran
    • File himpunan data pelatihan pada disk
  2. Operasi kolektif manakah yang digunakan FSDP untuk merekonstruksi seluruh bobot lapisan sebelum menghitungnya?
    • Hanya siaran
    • Semua berkumpul
    • Menyebar
    • Penghalang
  3. Mengapa FSDP membebaskan bobot penuh yang dikumpulkan segera setelah penghitungan lapisan?
    • Untuk merusak gradien yang tidak digunakan
    • Untuk memaksa putaran latihan yang lebih lambat
    • Untuk menjaga jejak memori permanen hanya pada satu shard per perangkat
    • Karena PyTorch menghapusnya secara acak
  4. FSDP sebagian besar terinspirasi oleh pendekatan optimasi memori sebelumnya?
    • Pengurangan Peta Google
    • RDD Apache Spark
    • inti CUDA NVIDIA
    • ZeRO (Pengoptimal Nol Redundansi) Microsoft
  5. Bagaimana cara FSDP menyembunyikan sebagian besar latensi jaringan agar tidak mengumpulkan bobot?
    • Dengan tumpang tindih komunikasi dengan komputasi, mengambil parameter lapisan berikutnya terlebih dahulu
    • Dengan menonaktifkan umpan mundur
    • Dengan mengompresi bobot menjadi satu bit
    • Dengan berlatih pada CPU saja
  6. Operasi kolektif manakah yang mendistribusikan potongan gradien gabungan kembali ke GPU pemiliknya secara terbalik?
    • Duplikasi semua-ke-semua
    • Kurangi-sebarkan
    • Salinan GPU tunggal
    • Hanya untuk berkumpul
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication