Rehber bağlantılı sınav · Sert Seviye

Optimize Edici Durumunu CPU ve NVMe Testine Aktarma

Optimize edici boşaltma bellek hesaplamasını, ana bilgisayar güncelleme yerleşimini ve aktarma ödünleşimlerini uygulayın; boşaltmanın neden tüm GPU ayırmalarını kaldırmadığını da öğrenin.

İlgili kılavuz yollarıOptimize Edici Durumunu Cpu ve Nvme'ye Aktarma
Soru 1 arasında 8

Optimize edici durumlarını CPU'ya veya NVMe'ye aktarmanın birincil amacı nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Optimize edici durumlarını CPU'ya veya NVMe'ye aktarmanın birincil amacı nedir?
    • Modeli daha doğru hale getirmek için
    • İhtiyaç duyulan eğitim dönemi sayısını azaltmak için
    • Gradyan ihtiyacını tamamen ortadan kaldırmak için
    • Kıt GPU belleğini serbest bırakarak daha büyük modelleri takmak için
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Hangi çerçeve, büyük ölçekli optimize edici boşaltmayı popüler hale getirdi?
    • Yeni bir aktivasyon fonksiyonu
    • JPEG görüntü sıkıştırma
    • DeepSpeed Sıfır Boşaltma ve Sıfır Sonsuzluk
    • Degrade kırpma
  4. CPU veya NVMe'ye aktarmanın ana performans maliyeti nedir?
    • Verilerin PCIe gibi daha yavaş bağlantılar üzerinden veya diske gitmesi gerekir, bu da gecikmeyi artırır
    • Model daha önceki eğitimi unutuyor
    • Optimize edici matematiksel olarak hatalı hale geliyor
    • GPU sıcaklığı çok düşüyor
  5. Boşaltma sistemleri aktarım gecikmesinin çoğunu nasıl gizler?
    • Geri geçişi atlayarak
    • Verilerin önceden getirilmesini devam eden GPU hesaplamasıyla örtüştürerek
    • Aynı anda yalnızca bir parametreyi eğiterek
    • Karma hassasiyeti devre dışı bırakarak
  6. Sıfır Boşaltmada, Adam optimize edici adımı sıklıkla nerede yürütülür?
    • Tamamen NVMe denetleyicisinde
    • Ayrı bir ekran GPU'sunda
    • CPU üzerinde, burada saklanan ana ağırlıklar ve momentler kullanılarak
    • Ağ anahtarının içinde
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time