Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Adam dan Pengoptimum Adaptif

Menyemak detik kecerunan Adam, pembetulan bias, penskalaan adaptif, epsilon dan kemas kini pereputan berat yang dipisahkan oleh AdamW. dalam kemas kini parameter standard.

Laluan panduan yang berkaitanAdam Dan Pengoptimum Penyesuaian
soalan 1 daripada 8

Apakah dua kuantiti yang Adam jejaki untuk setiap parameter?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah dua kuantiti yang Adam jejaki untuk setiap parameter?
    • Purata larian kecerunan dan kecerunan kuasa dua
    • Kecerunan maksimum dan minimum yang pernah dilihat
    • Kadar pembelajaran dan saiz kelompok
    • Nilai berat dan tandanya
  2. Mengapakah Adam menggunakan pembetulan berat sebelah pada anggaran momennya?
    • Kerana kecerunan sentiasa negatif pada awal latihan
    • Kerana purata bergerak bermula pada sifar dan berat sebelah ke arah sifar pada mulanya
    • Untuk menjadikan kadar pembelajaran lebih besar dari semasa ke semasa
    • Untuk mengalih keluar titik data terpencil daripada kumpulan
  3. Apakah perbezaan utama antara Adam dan AdamW?
    • AdamW langsung tidak menggunakan momentum
    • AdamW mengalih keluar anggaran detik kedua
    • AdamW memisahkan pereputan berat daripada kemas kini berasaskan kecerunan
    • AdamW hanya berfungsi pada rangkaian konvolusi
  4. Apakah peranan yang dimainkan oleh istilah epsilon kecil dalam peraturan kemas kini Adam?
    • Ia menetapkan kekuatan momentum
    • Ia mengawal bilangan zaman latihan
    • Ia meningkatkan magnitud kecerunan
    • Ia menghalang pembahagian dengan sifar dan menstabilkan kemas kini
  5. Mengapa Adam sering digambarkan sebagai 'adaptif'?
    • Ia secara berkesan memberikan setiap parameter saiz langkah berskalanya sendiri
    • Ia mengubah seni bina rangkaian semasa latihan
    • Ia menyesuaikan set data kepada model
    • Ia bertukar antara klasifikasi dan regresi secara automatik
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history