Gids-gekoppelde quiz · Middelmatig Niveau

Quiz voor het plannen van leersnelheden

Controleert opwarm-, cosinus- en stapschema's, herstartgedrag, vroege instabiliteit en het gebruikelijke trainingsrecept voor opwarmen en vervolgens vervallen.

Gerelateerde gidspadenPlanning van leersnelheid
Vraag 1 van 8

Wat is het doel van een 'opwarmfase' in een leertemposchema?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het doel van een 'opwarmfase' in een leertemposchema?
    • Om te beginnen met een kleine snelheid en deze vervolgens op te voeren, waarbij instabiliteit door vroege luidruchtige hellingen wordt vermeden
    • Om de uiteindelijke nauwkeurigheid lager te maken
    • Om de eerste paar batches gegevens over te slaan
    • Om alle gewichten bij de start te bevriezen
  2. Welk schema volgt soepel een halve cosinuscurve naar beneden richting een minimumtarief?
    • Constant schema
    • Cosinus gloeien
    • Willekeurig schema
    • Lineaire toename
  3. Wat gebeurt er als het leertempo veel te hoog wordt vastgesteld?
    • Training convergeert onmiddellijk met perfecte nauwkeurigheid
    • Het model traint langzamer maar slaagt altijd
    • Het verlies kan uiteenlopen of oscilleren in plaats van afnemen
    • Er verandert niets; het tarief heeft geen effect
  4. Wat doet stapverval met de leersnelheid?
    • Verhoogt het lineair elke batch
    • Houdt het perfect constant
    • Stelt het bij elke stap willekeurig in
    • Verlaagt het met een vaste factor op vooraf gedefinieerde tijdperken
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • De batchgrootte
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate