Kaybolan ve Patlayan Degradeler Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Kaybolan ve patlayan gradyanların temel nedeni geri yayılımdaki hangi matematiksel işlemdir?
   • Zincir kuralı aracılığıyla katman başına faktörlerin tekrar tekrar çarpılması
   • Tek bir katmana degradeler ekleme
   • Kaybın parti büyüklüğüne bölünmesi
   • Ağırlıkların karekökünün alınması
2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
   • Their derivatives are always larger than one
   • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
   • They remove the chain rule from backpropagation
   • They force every weight to zero
3. Uzun dizilerdeki degrade sorunlarından EN ÇOK hangi mimari ciddi şekilde etkilenir?
   • İki katmanlı bir algılayıcı
   • Tek bir doğrusal regresyon
   • Tekrarlayan bir sinir ağı birçok zaman adımında açıldı
   • Bir arama tablosu
4. Eğitim kaybının aniden NaN'ye dönüştüğünü görmek büyük olasılıkla hangi soruna işaret ediyor?
   • Kaybolan degradeler
   • Mükemmel yakınsama
   • Öğrenme oranı çok küçük
   • Patlayan degradeler
5. Artık (atlama) bağlantılar, kaybolan degradelere nasıl yardımcı olur?
   • Daralan çarpımları atlayarak degradeye geriye doğru doğrudan bir kısayol yolu verirler
   • Tüm doğrusal olmayanlıkları ortadan kaldırırlar
   • Öğrenme oranını otomatik olarak artırırlar
   • Erken katmanları silerler
6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
   • The matrix trace relative to the batch size
   • The spectral radius relative to one
   • The number of hidden units alone
   • The determinant relative to the learning rate
7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
   • It must become exactly one
   • It grows exponentially regardless of the factor
   • The signal can shrink exponentially with depth
   • It stops depending on earlier layers after one step
8. Why can a recurrent network be especially vulnerable over a long sequence?
   • The network has no hidden state
   • The output layer is used only once
   • The sequence is processed without a chain rule
   • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect