Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Purata Berat Stochastic

Menyemak purata berat SWA, tingkah laku kadar pembelajaran, penentukuran semula penormalan kelompok dan cara model purata tunggal berbeza daripada ensembel.

Laluan panduan yang berkaitanPurata Berat Stochastic
soalan 1 daripada 8

Apakah purata Purata Berat Stochastic sebenarnya?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah purata Purata Berat Stochastic sebenarnya?
    • Berat model diambil sampel pada beberapa titik lewat dalam latihan
    • Ramalan beberapa model terlatih secara berasingan
    • Kecerunan dikira merentas semua kelompok mini
    • Kadar pembelajaran yang digunakan pada setiap zaman
  2. Mengapakah SWA cenderung untuk meningkatkan generalisasi?
    • Ia menghafal set latihan dengan lebih tepat
    • Ia menemui minima yang lebih luas dan lebih rata yang lebih teguh pada data yang tidak kelihatan
    • Ia meningkatkan bilangan parameter dalam model
    • Ia menghapuskan keperluan untuk set pengesahan
  3. Apakah langkah tambahan yang diperlukan oleh SWA untuk rangkaian yang menggunakan normalisasi kelompok?
    • Melatih semula rangkaian dari awal
    • Menggandakan saiz kelompok
    • Pas ke hadapan tambahan untuk mengira semula statistik larian BN
    • Mengalih keluar semua lapisan tercicir
  4. Apakah tingkah laku kadar pembelajaran yang biasanya digunakan semasa fasa purata SWA?
    • Kadar pembelajaran mereput kepada sifar tepat
    • Kadar pembelajaran satu untuk kestabilan
    • Tiada kadar pembelajaran langsung kerana latihan dibekukan
    • Kadar pembelajaran yang berterusan atau kitaran yang agak tinggi
  5. Bagaimanakah kos inferens SWA dibandingkan dengan ensembel tradisional model N?
    • Ia berharga kira-kira satu model, kerana hasilnya adalah satu set pemberat
    • Ia adalah N kali lebih mahal
    • Ia sama dengan menjalankan model N
    • Ia tidak boleh digunakan untuk inferens
  6. Why does the batch-normalization adjustment belong after SWA weight averaging?
    • The averaging step deletes every convolution
    • Its running statistics must be recomputed for the averaged weights
    • It converts batch normalization into layer normalization
    • It restores the original optimizer learning rate
  7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
    • w_SWA + n · w_i
    • (w_SWA + w_i) divided by n
    • (n · w_SWA + w_i) divided by (n + 1)
    • n · (w_SWA − w_i)
  8. Why is SWA commonly started during the later part of training?
    • It requires the model to remain at random initialization
    • It can only average models with different architectures
    • It replaces the training data with validation examples
    • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress