Gids-gekoppelde quiz · Middelmatig Niveau
Gewichtsverval en L2-regularisatiequiz
Test L2-straffen, krimp naar nul, SGD-equivalentie, AdamW-ontkoppeling, adaptieve schaling en vervalsterkte in training.
Vraag 1 van 8
Wat voegt L2-regularisatie toe aan de verliesfunctie?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat voegt L2-regularisatie toe aan de verliesfunctie?
- Het aantal lagen in het netwerk
- Een boete op het leerpercentage
- Het aantal trainingsvoorbeelden
- Een straf die evenredig is aan de som van de kwadratische gewichten
- Wat is het voornaamste probleem dat gewichtsverlies helpt voorkomen?
- Langzaam laden van gegevens
- Overfitting, waarbij het model ruis in de trainingsgegevens onthoudt
- Hardwarefouten
- Onjuiste etiketten
- In welke richting duwt het gewichtsverval de gewichten van het model?
- Op weg naar het oneindige
- Op weg naar het grootste gewicht
- Richting nul
- Op weg naar willekeurige waarden
- Waarom werd AdamW geïntroduceerd?
- Om gewichtsverval te ontkoppelen van de adaptieve gradiëntupdate, zodat het verval zich correct gedraagt
- Om het verloop volledig te verwijderen
- Om de training met opzet langzamer te maken
- Om de noodzaak van een leertempo te elimineren
- Hoe verhouden L2-regularisatie en gewichtsverval zich voor een eenvoudige stochastische gradiëntafdaling?
- Het zijn altijd tegenpolen
- Ze zijn wiskundig equivalent
- Gewichtsverlies schakelt de gradiënt uit
- L2 werkt alleen voor SGD met momentum
- Wat controleert de lambda-coëfficiënt bij L2-regularisatie?
- De batchgrootte
- Het aantal tijdperken
- De activeringsfunctie
- De sterkte van de straf op grote gewichten
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size