Rehber bağlantılı sınav · Orta Seviye
Katman Normalleştirme Testi
LayerNorm istatistiklerini ve afin parametrelerini, toplu iş boyutu davranışını, epsilon'u, RMSNorm'u ve norm öncesi yerleşimi kontrol eder. derin ağlarda.
Soru 1 arasında 8
Katman normalizasyonu, ortalamasını ve varyansını ne üzerinden hesaplar?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Katman normalizasyonu, ortalamasını ve varyansını ne üzerinden hesaplar?
- Tek bir örneğin özellikleri genelinde
- Mini gruptaki tüm örneklerde
- Ağdaki tüm ağırlıklar genelinde
- Birden fazla eğitim döneminde
- Transformatörlerde toplu normalizasyon yerine neden katman normalizasyonu tercih edilir?
- Çok büyük bir parti boyutu gerektirir
- Toplu iş boyutundan bağımsızdır ve değişken uzunluktaki sıraları işler
- Öğrenilebilir parametrelere olan ihtiyacı ortadan kaldırır
- Yalnızca çıkarım sırasında çalışır
- Öğrenilebilir parametreler gama ve beta, LayerNorm'un ne yapmasına olanak sağlar?
- Öğrenme oranını seçin
- Katman sayısını ayarlayın
- Ağın yararlı gösterimleri kurtarabilmesi için normalleştirilmiş çıktıyı yeniden ölçeklendirin ve kaydırın
- Aktivasyon fonksiyonu ihtiyacını ortadan kaldırın
- RMSNorm'un standart LayerNorm'dan farkı nedir?
- Bunun yerine toplu iş genelinde normalleşir
- Hiçbir parametre ve bölme kullanmaz
- Yalnızca görseller üzerinde çalışır
- Ortalama çıkarma işlemini atlar ve yalnızca ortalamanın kareköküne bölünür
- Katman normalleştirmesi öncelikle derin ağlarda hangi sorunun çözülmesine yardımcı olur?
- Eğitimin istikrarını bozan çok farklı ölçeklere sürüklenen aktivasyonlar
- Disk alanı tükeniyor
- Doğru veri kümesini seçme
- Model ağırlıklarının şifrelenmesi
- Neden çok derin transformatörlerde 'norm öncesi' yerleştirme sıklıkla kullanılıyor?
- Modeli küçültür
- Her alt katmandan önce normalleştirme, derin yığınların eğitilmesini daha kolay ve daha kararlı hale getirir
- Dikkat mekanizmasını ortadan kaldırır
- Öğrenme oranını otomatik olarak ikiye katlar
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling