Quiz collegato alla guida · Medio Livello
Quiz sulla pianificazione del tasso di apprendimento
Controlla i programmi di riscaldamento, coseno e passi, il comportamento di riavvio, l'instabilità iniziale e la comune ricetta di allenamento di riscaldamento e poi decadimento.
Domanda 1 di 8
Qual è lo scopo di una fase di "riscaldamento" in un programma di tassi di apprendimento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è lo scopo di una fase di "riscaldamento" in un programma di tassi di apprendimento?
- Iniziare con una velocità ridotta e salire, evitando l'instabilità dovuta ai primi gradienti rumorosi
- Per ridurre la precisione finale
- Per saltare i primi lotti di dati
- Per congelare tutti i pesi alla partenza
- Quale programma segue dolcemente una curva mezzo coseno verso il basso verso un tasso minimo?
- Programma costante
- Ricottura del coseno
- Programma casuale
- Incremento lineare
- Cosa succede se il tasso di apprendimento è troppo alto?
- L'allenamento converge istantaneamente con perfetta precisione
- Il modello si allena più lentamente ma riesce sempre
- La perdita può divergere o oscillare invece di diminuire
- Non cambia nulla; la tariffa non ha alcun effetto
- Che effetto ha il decadimento del gradino sulla velocità di apprendimento?
- Lo aumenta linearmente ad ogni batch
- Lo mantiene perfettamente costante
- Imposta in modo casuale ogni passaggio
- Lo riduce di un fattore fisso in epoche predefinite
- What does a warm restart do to a learning-rate schedule?
- It raises the learning rate again to begin another schedule cycle
- It resets the model parameters to random values
- It permanently fixes the learning rate at zero
- It deletes the optimizer’s moment estimates
- In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
- It removed the need for a validation set
- It eased early optimization difficulties after the learning-rate scale increased with batch size
- It changed the model architecture after each epoch
- It converted the learning-rate curve into a cosine wave
- In the cosine formula, what does T denote?
- The number of model layers
- La dimensione del lotto
- The schedule horizon or total number of steps used for the decay
- The optimizer’s momentum coefficient
- If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
- Exactly zero regardless of lr_min
- The original warmup starting rate
- An unbounded value
- The specified minimum learning rate