Rehber bağlantılı sınav · Orta Seviye

Gradyan Birikimi Testi

Mikro toplu gradyan toplamlarını, etkin toplu boyutu, kayıp ölçeklendirmeyi, optimize edici zamanlamasını, normalleştirme sınırlarını ve erken sıfırlama hatalarını test edin.

İlgili kılavuz yollarıGradyan Birikimi
Soru 1 arasında 8

Gradyan birikimi öncelikli olarak ne yapmanızı sağlar?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Gradyan birikimi öncelikli olarak ne yapmanızı sağlar?
    • Herhangi bir GPU olmadan eğitin
    • Geri geçişi atla
    • Sınırlı bellekte daha büyük etkili toplu iş boyutunu simüle edin
    • Optimize ediciyi tamamen ortadan kaldırın
  2. Mikro parti boyutu 4 ve 8 biriktirme adımlarıyla etkin parti boyutu şöyledir:
    • 32
    • 4
    • 8
    • 12
  3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
    • Her mikro partiden sonra
    • Asla
    • İleri pas öncesinde
    • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
  4. Etkin öğrenme oranını doğru tutmak için mikro parti başına kayıp genellikle şu şekildedir:
    • N ile çarpıldı
    • N biriktirme adımlarının sayısına bölünür
    • Sıfıra ayarla
    • Doğrulukla değiştirildi
  5. Hangi normalleştirme katmanı gradyan birikimiyle daha temiz bir şekilde eşleşir?
    • Toplu istatistiklere bağlı olmadıkları için katman veya grup normalleştirmesi
    • Toplu normalleştirme, çünkü küçük partileri sever
    • Hiçbir normalleştirme onunla işe yaramaz
    • Yalnızca okulu bırakma
  6. Gradyan birikimini kullanmanın ana maliyeti:
    • Zirvede daha fazla GPU belleği kullanıldı
    • Tüm eğimlerin kaybı
    • Etkili güncelleme başına daha uzun duvar saati süresi
    • Optimize edici kullanamama
  7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
    • The model weights are deleted
    • The earlier micro-batch contributions to the accumulated update
    • The effective batch becomes four times larger
    • The loss automatically becomes zero
  8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
    • The optimizer cannot accept four backward passes
    • Gradient addition is forbidden in BatchNorm
    • The number of training examples changes
    • BatchNorm uses statistics from each micro-batch rather than the combined batch