Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Súlycsökkenés és L2-szabályozási kvíz
Test L2 penalties, shrinkage toward zero, SGD equivalence, AdamW decoupling, adaptive scaling, and decay strength in training.
kérdés 1 -ból 8
Mit ad hozzá a veszteségfüggvényhez az L2 regularizáció?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit ad hozzá a veszteségfüggvényhez az L2 regularizáció?
- A rétegek száma a hálózatban
- Büntetés a tanulási sebességre
- A képzési példák száma
- A súlyok négyzetes összegével arányos büntetés
- Mi az a fő probléma, amelyet a súlycsökkenés segít megelőzni?
- Lassú adatbetöltés
- Túlillesztés, ahol a modell megjegyzi a zajt a képzési adatokban
- Hardver hibák
- Helytelen címkék
- Milyen irányba tolja a súlycsökkenés a modell súlyát?
- A végtelen felé
- A legnagyobb súly felé
- A nulla felé
- A véletlenszerű értékek felé
- Miért mutatták be az AdamW-t?
- A súlycsökkenés és az adaptív gradiensfrissítés szétválasztása, hogy a csökkenés megfelelően viselkedjen
- A gradiens teljes eltávolításához
- Hogy szándékosan lassabb legyen az edzés
- A tanulási sebesség szükségességének kiküszöbölése
- Sima sztochasztikus gradiens süllyedés esetén hogyan függ össze az L2 regularizáció és a súlycsökkenés?
- Mindig ellentétesek
- Matematikailag egyenértékűek
- A súlycsökkentés letiltja a gradienst
- Az L2 csak SGD-nél működik lendülettel
- Mit szabályoz a lambda-együttható az L2 regularizációban?
- A tétel mérete
- A korszakok száma
- Az aktiválási funkció
- A büntetés ereje nagy súlyoknál
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size