Adam ve Uyarlanabilir Optimize Ediciler Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Adam her parametre için hangi iki miktarı takip ediyor?
   • Degradelerin ve kareli degradelerin hareketli ortalaması
   • Şimdiye kadar görülen maksimum ve minimum eğim
   • Öğrenme oranı ve parti büyüklüğü
   • Ağırlık değeri ve işareti
2. Adam neden moment tahminlerine sapma düzeltmesi uyguluyor?
   • Çünkü eğitimin başlarında eğimler her zaman negatiftir
   • Çünkü hareketli ortalamalar sıfırdan başlar ve başlangıçta sıfıra doğru yönelir.
   • Öğrenme oranını zaman içinde artırmak için
   • Aykırı veri noktalarını gruptan kaldırmak için
3. Adam ve AdamW arasındaki temel fark nedir?
   • AdamW hiç momentum kullanmıyor
   • AdamW ikinci an tahminini kaldırıyor
   • AdamW, ağırlık düşüşünü gradyan tabanlı güncellemeden ayırıyor
   • AdamW yalnızca evrişimli ağlarda çalışır
4. Küçük epsilon teriminin Adam'ın güncelleme kuralında oynadığı rol nedir?
   • Momentum gücünü ayarlar
   • Eğitim dönemlerinin sayısını kontrol eder
   • Gradyan büyüklüğünü arttırır
   • Sıfıra bölünmeyi önler ve güncellemeyi stabilize eder
5. Adem neden sıklıkla 'uyumlu' olarak tanımlanıyor?
   • Her parametreye etkili bir şekilde kendi ölçekli adım boyutunu verir
   • Eğitim sırasında ağ mimarisini değiştirir
   • Veri kümesini modele uyarlar
   • Sınıflandırma ve regresyon arasında otomatik olarak geçiş yapar
6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
   • Beta1
   • Beta2
   • Epsilon
   • The weight-decay coefficient
7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
   • Model katmanlarının sayısı
   • The batch-normalization mean
   • The second-moment estimate of squared gradients
   • The AdamW weight-decay term alone
8. What happens when beta2 is set closer to one, all else equal?
   • The optimizer stops using gradients
   • The first-moment estimate is deleted
   • Weight decay becomes decoupled automatically
   • The squared-gradient estimate decays more slowly and retains a longer history