Rehber bağlantılı sınav · Sert Seviye
Toplu Normalleştirme Sınavı
Toplu istatistikleri, benzeşik ölçek ve kaydırmayı, çalışan ortalamaları, küçük toplu istikrarsızlığı ve BatchNorm'un LayerNorm'dan ne kadar farklı olduğunu kontrol eder.
Soru 1 arasında 8
Toplu normalleştirme neyi normalleştirir?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Toplu normalleştirme neyi normalleştirir?
- Geçerli mini gruptaki örneklerde bir katmana yapılan girişler
- Ağın son çıktı etiketleri
- Zaman içindeki öğrenme oranı çizelgesi
- Eğitim veri kümesinin boyutu
- Toplu normalleştirme neden öğrenilebilir parametreler gama ve beta içeriyor?
- Veri kümesinin boyutunu artırmak için
- Temsil gücünü koruyarak ağın normalleştirilmiş değerleri ölçeklendirmesine ve değiştirmesine izin vermek
- Eğitim sırasında nöronları rastgele düşürmek için
- Kayıp fonksiyonunu hesaplamak için
- Toplu normalleştirmenin yaygın olarak bahsedilen pratik faydası nedir?
- Herhangi bir eğitim verisine olan ihtiyacı ortadan kaldırır
- Modelin fazla sığamayacağını garanti eder
- Daha yüksek öğrenme oranlarına ve daha hızlı, daha kararlı yakınsamaya olanak tanır
- Aktivasyon fonksiyonu ihtiyacını ortadan kaldırır
- Çıkarım zamanında (yeni verileri tahmin etme), toplu normalleştirme hangi istatistikleri kullanır?
- Yalnızca geçerli tek girişin ortalaması ve varyansı
- Her seferinde rastgele oluşturulan istatistikler
- Test setinin istatistikleri önceden hesaplanmıştır
- Eğitim sırasında biriken ortalama ve varyansın ortalamaları çalıştırılıyor
- Toplu normalleştirme neden çok küçük toplu iş boyutlarında kötü davranabiliyor?
- Toplu istatistikler, gerçek dağılımın gürültülü ve güvenilmez tahminleri haline gelir
- Küçük gruplar, modeli belleğe sığamayacak kadar büyük hale getirir
- Etkinleştirme işlevlerini devre dışı bırakır
- Küçük partiler L1 düzenlemesinin kullanımını zorlar
- Toplu normalleştirmeye alternatif olarak transformatör mimarilerinde en yaygın olarak hangi normalleştirme tekniği kullanılır?
- Bırakma normalizasyonu
- Katman normalleştirmesi
- Kaybın L2 normalizasyonu
- Degrade kırpma
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function