Gids-gekoppelde quiz · Middelmatig Niveau

Gewichtsverval en L2-regularisatiequiz

Test L2-straffen, krimp naar nul, SGD-equivalentie, AdamW-ontkoppeling, adaptieve schaling en vervalsterkte in training.

Vraag 1 van 8

Wat voegt L2-regularisatie toe aan de verliesfunctie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat voegt L2-regularisatie toe aan de verliesfunctie?
    • Het aantal lagen in het netwerk
    • Een boete op het leerpercentage
    • Het aantal trainingsvoorbeelden
    • Een straf die evenredig is aan de som van de kwadratische gewichten
  2. Wat is het voornaamste probleem dat gewichtsverlies helpt voorkomen?
    • Langzaam laden van gegevens
    • Overfitting, waarbij het model ruis in de trainingsgegevens onthoudt
    • Hardwarefouten
    • Onjuiste etiketten
  3. In welke richting duwt het gewichtsverval de gewichten van het model?
    • Op weg naar het oneindige
    • Op weg naar het grootste gewicht
    • Richting nul
    • Op weg naar willekeurige waarden
  4. Waarom werd AdamW geïntroduceerd?
    • Om gewichtsverval te ontkoppelen van de adaptieve gradiëntupdate, zodat het verval zich correct gedraagt
    • Om het verloop volledig te verwijderen
    • Om de training met opzet langzamer te maken
    • Om de noodzaak van een leertempo te elimineren
  5. Hoe verhouden L2-regularisatie en gewichtsverval zich voor een eenvoudige stochastische gradiëntafdaling?
    • Het zijn altijd tegenpolen
    • Ze zijn wiskundig equivalent
    • Gewichtsverlies schakelt de gradiënt uit
    • L2 werkt alleen voor SGD met momentum
  6. Wat controleert de lambda-coëfficiënt bij L2-regularisatie?
    • De batchgrootte
    • Het aantal tijdperken
    • De activeringsfunctie
    • De sterkte van de straf op grote gewichten
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size