Rehber bağlantılı sınav · Sert Seviye

Sıfır ve Parçalı Optimize Ediciler Testi

Sıfır aşamalarını, Adam durum belleğini, parametre toplamayı, gradyan azaltmayı, boşaltma seçeneklerini ve iletişim maliyetlerini kapsar.

İlgili kılavuz yollarıSıfır ve Parçalı Optimize Ediciler
Soru 1 arasında 8

Sıfır, düz veri paralelliğine kıyasla hangi fazlalığı ortadan kaldırır?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Sıfır, düz veri paralelliğine kıyasla hangi fazlalığı ortadan kaldırır?
    • Optimize edici durumunun, degradelerin ve parametrelerin tam kopyalarını her GPU'da çoğaltın
    • Her GPU'da eğitim verilerinin kopyaları
    • Düğümler arasında yedek ağ kabloları
    • Aynı parti üzerinden tekrarlanan ileri geçişler
  2. Optimize edici durumu neden Adam'ın en büyük hafıza domuzudur?
    • Adam hiçbir ekstra durumu saklamaz
    • Adam, genellikle model boyutunun birkaç katı olan, parametre başına ek değerleri (momentum ve varyans gibi) tutar
    • Adam tüm veri kümesini kopyalıyor
    • Adam'ın geçmişteki her degradeyi sonsuza kadar saklaması gerekiyor
  3. Zero Stage 3, Aşama 1 ve Aşama 2'nin sağlayamadığı neyi sağlar?
    • Eğitim verileri
    • Kayıp fonksiyonu
    • Model parametrelerinin kendisi
    • Öğrenme oranı çizelgesi
  4. ZeRO Stage 3'te GPU, bir katmanın ileri geçişi için ihtiyaç duyduğu parametrelerin tamamını nasıl elde eder?
    • Hiçbir zaman tam parametrelere ihtiyaç duymaz
    • Bunları internetten indiriyor
    • Her seferinde bunları sıfırdan yeniden hesaplar
    • Eksik dilimleri toplamak için bir toplama işlemi gerçekleştirir ve daha sonra bunları atar.
  5. Hangi PyTorch özelliği sıfır tarzı parçalamayı yerel olarak uygular?
    • FSDP (Tamamen Parçalanmış Veri Paralel)
    • Veri Yükleyici
    • TorchScript
    • Otograd
  6. Sıfır'ın bellekten tasarruf etmek için yaptığı temel ödünleşim nedir?
    • Hız için model doğruluğunu feda eder
    • Parçaları gerektiği gibi toplamak ve dağıtmak için ekstra iletişim ekler
    • Katmanları modelden kaldırır
    • Yalnızca çok küçük modellerle çalışır
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients