Kuis terkait panduan · Sedang Tingkat

Kuis Rata-Rata Berat Stochastic

Memeriksa rata-rata bobot SWA, perilaku kecepatan pembelajaran, kalibrasi ulang normalisasi batch, dan perbedaan model rata-rata tunggal dengan ansambel.

Jalur panduan terkaitRata-rata Berat Stokastik
Pertanyaan 1 dari 8

Berapa sebenarnya rata-rata Stochastic Weight Averaging?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Berapa sebenarnya rata-rata Stochastic Weight Averaging?
    • Bobot model diambil sampelnya di beberapa titik di akhir pelatihan
    • Prediksi beberapa model yang dilatih secara terpisah
    • Gradien dihitung di semua mini-batch
    • Kecepatan pembelajaran yang digunakan selama setiap periode
  2. Mengapa SWA cenderung meningkatkan generalisasi?
    • Ini mengingat set pelatihan dengan lebih tepat
    • Ia menemukan nilai minimum yang lebih luas dan datar yang lebih kuat pada data yang tidak terlihat
    • Ini meningkatkan jumlah parameter dalam model
    • Ini menghilangkan kebutuhan akan set validasi
  3. Langkah tambahan apa yang diperlukan SWA untuk jaringan yang menggunakan normalisasi batch?
    • Melatih kembali jaringan dari awal
    • Menggandakan ukuran batch
    • Forward pass tambahan untuk menghitung ulang statistik lari BN
    • Menghapus semua lapisan putus sekolah
  4. Perilaku kecepatan pembelajaran apa yang biasanya digunakan selama fase rata-rata SWA?
    • Kecepatan pembelajaran menurun hingga tepat nol
    • Kecepatan pembelajaran satu untuk stabilitas
    • Tidak ada kecepatan pembelajaran sama sekali karena pelatihan dibekukan
    • Kecepatan pembelajaran yang konstan atau bersiklus dan relatif tinggi
  5. Bagaimana biaya inferensi SWA dibandingkan dengan model N model tradisional?
    • Harganya kira-kira untuk satu model, karena hasilnya adalah satu set bobot
    • Harganya N kali lebih mahal
    • Ini identik dengan menjalankan model N
    • Itu tidak dapat digunakan untuk inferensi
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress