Rehber bağlantılı sınav · Sert Seviye

Tamamen Parçalanmış Veri Paralel Sınavı

Büyük dağıtılmış model eğitiminde FSDP parçalama, tümünü toplama ve dağıtmayı azaltma, iletişim çakışması ve bellek-ağ değişimlerini kapsar.

İlgili kılavuz yollarıTamamen Parçalanmış Veri Paralel
Soru 1 arasında 8

FSDP, GPU'lar arasında standart veri paralelliğinin OLMADIĞI neyi parçalıyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. FSDP, GPU'lar arasında standart veri paralelliğinin OLMADIĞI neyi parçalıyor?
    • Parametreler, degradeler ve optimize edici durumları
    • Yalnızca giriş grupları
    • Yalnızca öğrenme oranı çizelgesi
    • Diskteki eğitim veri kümesi dosyaları
  2. FSDP, bir katmanın tam ağırlıklarını hesaplamadan hemen önce yeniden oluşturmak için hangi toplu işlemi kullanır?
    • Yalnızca yayın
    • Hepsi bir arada
    • Dağılım
    • Bariyer
  3. FSDP neden bir katmanın hesaplanmasından hemen sonra toplanan tüm ağırlıkları serbest bırakıyor?
    • Kullanılmayan degradeleri bozmak için
    • Daha yavaş bir eğitim döngüsünü zorlamak için
    • Kalıcı hafıza ayak izini cihaz başına yalnızca bir parçada tutmak için
    • Çünkü PyTorch bunları rastgele siliyor
  4. FSDP büyük ölçüde daha önceki hangi bellek optimizasyon yaklaşımından ilham almıştır?
    • Google'nin MapReduce'ı
    • Apache Spark RDD'leri
    • NVIDIA'nın CUDA çekirdekleri
    • Microsoft'in Sıfır (Sıfır Artıklık Optimize Edici)
  5. FSDP, ağ gecikmesinin çoğunu ağırlık toplamaktan nasıl gizler?
    • İletişimi hesaplamayla örtüştürerek, sonraki katmanın parametrelerini önceden getirerek
    • Geri geçişi devre dışı bırakarak
    • Ağırlıkları bir bit'e sıkıştırarak
    • Yalnızca CPU üzerinde eğitim alarak
  6. Hangi kolektif işlem, birleştirilmiş degrade dilimlerini geri geçişte kendi GPU'larına geri dağıtır?
    • Her şeyin çoğaltılması
    • Azalt-dağılım
    • Tek GPU kopyası
    • Yalnızca toplama
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication