Ağırlık Başlatma Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Neden tüm ağırlıkları sıfıra ayarlamak ölümcül bir hatadır?
   • Tüm nöronlar aynı gradyanları alır ve asla farklılaşmaz (simetri bozulmaz)
   • Eğitimi çok hızlı hale getiriyor
   • Zararın negatif olmasına neden olur
   • Çok fazla bellek kullanıyor
2. O (Kaiming) başlatma, hangi aktivasyon fonksiyonu için özel olarak tasarlanmıştır?
   • Sigmoid
   • ReLU
   • Tanh
   • Softmax
3. Prensipli ağırlık başlatma şemalarının ana hedefi nedir?
   • Tüm ağırlıkların eşit olması için
   • Her ağırlığı bire ayarlamak için
   • Aktivasyonların ve gradyanların varyansını katmanlar arasında kabaca sabit tutmak için
   • Veri ihtiyacını ortadan kaldırmak için
4. Xavier (Glorot) başlatma, hangi aktivasyonları kullanan ağlar için en uygunudur?
   • ReLU ve çeşitleri
   • Yalnızca doğrusal aktivasyonlar
   • Hiç aktivasyon yok
   • Tanh ve sigmoid
5. Başlatma işlemi neden 1/fan_in yerine 2/fan_in varyansını kullanıyor?
   • ReLU'nun girişlerinin yaklaşık yarısını sıfıra ayarlamasını telafi etmek için
   • Sebepsiz yere ağırlıkları büyütmek
   • Parametre sayısını azaltmak için
   • Parti boyutunu eşleştirmek için
6. Ağırlıklar rastgele başlatıldığında önyargılar genellikle nasıl başlatılır?
   • Çok büyük pozitif değerlere
   • Simetri zaten rastgele ağırlıklar tarafından bozulduğu için sıfıra
   • Öğrenme oranıyla aynı değere
   • Ağırlıklardan daha büyük rastgele değerlere
7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
   • The number of training epochs and batch size
   • The output class count alone
   • Fan-in and fan-out
   • The activation’s test accuracy
8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
   • 1/64
   • 1/16
   • 2/64 squared
   • 1/32