Quiz lié à un guide · Moyen Niveau

Quiz sur la planification du taux d'apprentissage

Vérifie les horaires d'échauffement, de cosinus et de pas, le comportement de redémarrage, l'instabilité précoce et la recette commune d'entraînement d'échauffement puis de décroissance.

Chemins de guidage associésPlanification du taux d'apprentissage
Question 1 de 8

Quel est l'objectif d'une phase de « préchauffage » dans un barème de taux d'apprentissage ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est l'objectif d'une phase de « préchauffage » dans un barème de taux d'apprentissage ?
    • Commencer avec un faible taux et augmenter en vitesse, en évitant l'instabilité due aux premiers gradients bruyants.
    • Pour réduire la précision finale
    • Pour ignorer les premiers lots de données
    • Pour figer tous les poids au départ
  2. Quel horaire suit en douceur une courbe demi-cosinus jusqu'à un taux minimum ?
    • Horaire constant
    • Recuit cosinus
    • Horaire aléatoire
    • Augmentation linéaire
  3. Que se passe-t-il si le taux d’apprentissage est beaucoup trop élevé ?
    • L'entraînement converge instantanément avec une précision parfaite
    • Le modèle s'entraîne plus lentement mais réussit toujours
    • La perte peut diverger ou osciller au lieu de diminuer
    • Rien ne change ; le taux n'a aucun effet
  4. Quel est l'effet de la désintégration sur le taux d'apprentissage ?
    • L'augmente linéairement à chaque lot
    • Le maintient parfaitement constant
    • Le définit de manière aléatoire à chaque étape
    • Le diminue d'un facteur fixe à des époques prédéfinies
  5. What does a warm restart do to a learning-rate schedule?
    • It raises the learning rate again to begin another schedule cycle
    • It resets the model parameters to random values
    • It permanently fixes the learning rate at zero
    • It deletes the optimizer’s moment estimates
  6. In Goyal et al.’s large-minibatch ImageNet setup, what did their warmup scheme address?
    • It removed the need for a validation set
    • It eased early optimization difficulties after the learning-rate scale increased with batch size
    • It changed the model architecture after each epoch
    • It converted the learning-rate curve into a cosine wave
  7. In the cosine formula, what does T denote?
    • The number of model layers
    • La taille du lot
    • The schedule horizon or total number of steps used for the decay
    • The optimizer’s momentum coefficient
  8. If the cosine schedule uses lr_min greater than zero, where does the rate approach at the end of the horizon?
    • Exactly zero regardless of lr_min
    • The original warmup starting rate
    • An unbounded value
    • The specified minimum learning rate