Rehber bağlantılı sınav · Sert Seviye

Model ve Boru Hattı Paralelliği Testi

Tensör ve boru hattı bölümlendirmesini, aktivasyon transferlerini, mikro parti programlarını, boru hattı kabarcıklarını ve iletişim değişimlerini açıklar.

İlgili kılavuz yollarıModel ve Boru Hattı Paralelliği
Soru 1 arasında 8

Model ve boru hattı paralelliği hangi temel sorunu çözüyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Model ve boru hattı paralelliği hangi temel sorunu çözüyor?
    • Bir modelin tek bir GPU belleğine sığmayacak kadar büyük olması
    • Diskten yavaş veri yükleme
    • Eğitim sırasında patlayan gradyanlar
    • Çok az sayıda eğitim örneği mevcut
  2. Tensör (katman içi) paralellik ayrımı nasıl çalışır?
    • Tüm katmanları farklı GPU'lara atar
    • Matematiği, matris çarpımı gibi bir katman içinde GPU'lar arasında böler
    • Her GPU'daki her katmanı çoğaltır
    • Artıklık için her katmanı iki kez çalıştırır
  3. Saf boru hattı paralelliğindeki 'balon' nedir?
    • Zamanla büyüyen bir bellek sızıntısı
    • Optimize edici durumunun kopyası
    • Aşağı yöndeki GPU'ların aktivasyon üretmek için yukarı yöndeki aşamaları beklediği boşta kalma süresi
    • Gradyan değerlerinde ani artış
  4. Boru hattı paralelliği balonu nasıl azaltır?
    • Daha küçük bir öğrenme oranı kullanarak
    • Modelden bazı katmanları kaldırarak
    • Aktivasyonları CPU'ya kaydederek
    • Her bir partiyi aşamalar boyunca kademeli bir şekilde akan mikro partilere bölerek
  5. Tensör paralelliği neden genellikle tek bir düğümde tutulur?
    • Kısmi sonuçların sıklıkla tamamen azaltılması, NVLink gibi hızlı düğüm içi bağlantılardan faydalandığından
    • Çünkü herhangi bir iletişime ihtiyaç duymaz.
    • Çünkü düğümler hiçbir şekilde veri paylaşamaz
    • Çünkü yalnızca bir GPU'yu destekliyor
  6. Transformatör eğitiminde tensör paralelliği için en iyi bilinen çerçeve hangisidir?
    • scikit-öğren
    • NVIDIA Megatron-LM
    • OpenCV
    • Pandalar
  7. What data must move between stages in pipeline parallelism during a forward pass?
    • The entire training dataset after each layer
    • Only the optimizer’s learning rate
    • Activation tensors produced by one stage and consumed by the next
    • No data, because stages are independent models
  8. Why does tensor parallelism often require fast communication within its group?
    • It assigns each GPU a separate dataset and never synchronizes
    • It communicates only once when the model is loaded
    • It uses no cross-device operations
    • Devices exchange partial results or activations within layers during computation