Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Súlycsökkenés és L2-szabályozási kvíz

Test L2 penalties, shrinkage toward zero, SGD equivalence, AdamW decoupling, adaptive scaling, and decay strength in training.

Kapcsolódó útmutató utakSúlycsökkenés és L2-szabályozás
kérdés 1 -ból 8

Mit ad hozzá a veszteségfüggvényhez az L2 regularizáció?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit ad hozzá a veszteségfüggvényhez az L2 regularizáció?
    • A rétegek száma a hálózatban
    • Büntetés a tanulási sebességre
    • A képzési példák száma
    • A súlyok négyzetes összegével arányos büntetés
  2. Mi az a fő probléma, amelyet a súlycsökkenés segít megelőzni?
    • Lassú adatbetöltés
    • Túlillesztés, ahol a modell megjegyzi a zajt a képzési adatokban
    • Hardver hibák
    • Helytelen címkék
  3. Milyen irányba tolja a súlycsökkenés a modell súlyát?
    • A végtelen felé
    • A legnagyobb súly felé
    • A nulla felé
    • A véletlenszerű értékek felé
  4. Miért mutatták be az AdamW-t?
    • A súlycsökkenés és az adaptív gradiensfrissítés szétválasztása, hogy a csökkenés megfelelően viselkedjen
    • A gradiens teljes eltávolításához
    • Hogy szándékosan lassabb legyen az edzés
    • A tanulási sebesség szükségességének kiküszöbölése
  5. Sima sztochasztikus gradiens süllyedés esetén hogyan függ össze az L2 regularizáció és a súlycsökkenés?
    • Mindig ellentétesek
    • Matematikailag egyenértékűek
    • A súlycsökkentés letiltja a gradienst
    • Az L2 csak SGD-nél működik lendülettel
  6. Mit szabályoz a lambda-együttható az L2 regularizációban?
    • A tétel mérete
    • A korszakok száma
    • Az aktiválási funkció
    • A büntetés ereje nagy súlyoknál
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size