Gids-gekoppelde quiz · Middelmatig Niveau
Quiz voor het plannen van leersnelheden
Controleert opwarm-, cosinus- en stapschema's, herstartgedrag, vroege instabiliteit en het gebruikelijke trainingsrecept voor opwarmen en vervolgens vervallen.
Vraag 1 van 8
Wat is het doel van een 'opwarmfase' in een leertemposchema?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het doel van een 'opwarmfase' in een leertemposchema?
- Om te beginnen met een kleine snelheid en deze vervolgens op te voeren, waarbij instabiliteit door vroege luidruchtige hellingen wordt vermeden
- Om de uiteindelijke nauwkeurigheid lager te maken
- Om de eerste paar batches gegevens over te slaan
- Om alle gewichten bij de start te bevriezen
- Welk schema volgt soepel een halve cosinuscurve naar beneden richting een minimumtarief?
- Constant schema
- Cosinus gloeien
- Willekeurig schema
- Lineaire toename
- Wat gebeurt er als het leertempo veel te hoog wordt vastgesteld?
- Training convergeert onmiddellijk met perfecte nauwkeurigheid
- Het model traint langzamer maar slaagt altijd
- Het verlies kan uiteenlopen of oscilleren in plaats van afnemen
- Er verandert niets; het tarief heeft geen effect
- Wat doet stapverval met de leersnelheid?
- Verhoogt het lineair elke batch
- Houdt het perfect constant
- Stelt het bij elke stap willekeurig in
- Verlaagt het met een vaste factor op vooraf gedefinieerde tijdperken
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- The number of model layers
- De batchgrootte
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate