Stokastik Ağırlık Ortalaması Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Stokastik Ağırlık Ortalaması aslında ortalama nedir?
   • Eğitimin sonlarında birden çok noktada örneklenen modelin ağırlıkları
   • Ayrı ayrı eğitilmiş birkaç modelin tahminleri
   • Tüm mini gruplarda hesaplanan gradyanlar
   • Her dönemde kullanılan öğrenme oranları
2. SWA neden genellemeyi geliştirme eğilimindedir?
   • Eğitim setini daha kesin olarak ezberler
   • Görünmeyen verilerde daha sağlam olan daha geniş, daha düz minimumları bulur
   • Modeldeki parametre sayısını arttırır
   • Doğrulama seti ihtiyacını ortadan kaldırır
3. Toplu normalleştirmeyi kullanan ağlar için SWA hangi ekstra adımı gerektirir?
   • Ağı sıfırdan yeniden eğitme
   • Parti boyutunun iki katına çıkarılması
   • BN koşu istatistiklerini yeniden hesaplamak için ek bir ileri geçiş
   • Tüm bırakma katmanlarını kaldırma
4. SWA ortalamasını alma aşamasında tipik olarak hangi öğrenme oranı davranışı kullanılır?
   • Öğrenme oranı tam olarak sıfıra düştü
   • Stabilite için bir öğrenme oranı
   • Eğitim dondurulduğu için öğrenme oranı hiç yok
   • Sabit veya döngüsel, nispeten yüksek bir öğrenme oranı
5. SWA'nın çıkarım maliyeti, geleneksel N modelleri topluluğuyla karşılaştırıldığında nasıldır?
   • Sonuç tek bir ağırlık seti olduğundan kabaca tek bir modele mal olur
   • N kat daha pahalıdır
   • N modellerini çalıştırmakla aynıdır
   • Çıkarım için kullanılamaz
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress