Rehber bağlantılı sınav · Sert Seviye

DeepSpeed ve Megatron Eğitim Yığınları Testi

Sıfır parçalama aşamalarını, tensör ve boru hattı paralelliğini, aktivasyon kontrol noktası belirlemeyi, boşaltmayı ve birleşik 3D paralel eğitimi kontrol eder.

İlgili kılavuz yollarıDeepspeed ve Megatron Eğitim Yığınları
Soru 1 arasında 8

DeepSpeed'in Sıfır Optimize Edicisinin temel amacı nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. DeepSpeed'in Sıfır Optimize Edicisinin temel amacı nedir?
    • Bellekten tasarruf etmek için optimize edici durumlarını, degradeleri ve parametreleri GPU'lar arasında parçalamak
    • Dağıtım için son modeli sıkıştırmak için
    • Modelleri çerçeveler arasında çevirmek için
    • Eğitim verilerini otomatik olarak etiketlemek için
  2. Megatron-LM'de öncülük edilen tensör paralelliği modeli nasıl böler?
    • Farklı GPU'lara farklı katmanlar yerleştirerek
    • GPU'lar genelinde bir katmandaki bireysel matris çarpımlarını dilimleyerek
    • Her GPU'ya farklı bir veri kümesi vererek
    • Farklı GPU'larda farklı zaman adımlarını depolayarak
  3. Boru hattı paralelliği, modeli şu şekilde böldüğü için tensör paralelliğinden farklıdır:
    • Her katmanın içindeki matrisleri dilimleme
    • Tüm modelin her GPU'ya kopyalanması
    • Farklı GPU'lara farklı katmanlar (aşamalar) atama
    • Hassasiyeti azaltmak için ağırlıkların nicelendirilmesi
  4. Hangi Sıfır aşaması, model parametrelerini de parçalayarak en büyük bellek tasarrufunu sağlar?
    • Aşama 1
    • Aşama 2
    • Aşama 0
    • Aşama 3
  5. Eğitim sırasında hafızadan tasarruf etmek için 'etkinleştirme kontrol noktası oluşturma' neyi değiştirir?
    • Geriye doğru geçiş sırasındaki aktivasyonları yeniden hesaplayarak ekstra hesaplama
    • Model doğruluğu
    • Ağ bant genişliği
    • Katman sayısı
  6. Bu tekniklerin birleştirilmesine neden sıklıkla '3 boyutlu paralellik' adı veriliyor?
    • Yalnızca 3D grafik kartlarında çalışır
    • Verileri, tensörü ve ardışık düzen paralelliğini üç eksende birleştirir
    • Maksimum üç GPU kullanır
    • Modelleri üç boyutlu olarak işler
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Aşama 0
    • Aşama 2
    • Aşama 1
    • Aşama 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget