Quiz lié à un guide · Moyen Niveau

Quiz sur les programmes d'échauffement et de recuit cosinus

Teste le rôle d’entraînement précoce de l’échauffement, la transition vers la désintégration du cosinus et la façon de lire la rampe linéaire et le point final du programme.

Chemins de guidage associésProgrammes d’échauffement et de recuit cosinus
Question 1 de 8

Quel est l’objectif principal de la phase d’échauffement en début d’entraînement ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est l’objectif principal de la phase d’échauffement en début d’entraînement ?
    • Pour stabiliser les premiers entraînements lorsque les poids sont aléatoires et les pentes bruyantes
    • Pour augmenter progressivement la taille du lot
    • Pour geler les couches inférieures du modèle
    • Pour compresser le modèle pour une inférence plus rapide
  2. Le recuit cosinus diminue le taux d'apprentissage selon quelle forme ?
    • Une ligne droite diagonale
    • Une courbe cosinusoïdale qui commence haut, s'atténue et s'aplatit près de zéro
    • Une fonction échelonnée qui chute à des époques fixes
    • Une hausse exponentielle
  3. Quel optimiseur bénéficie particulièrement du préchauffage car ses estimations de variance ne sont pas fiables au début ?
    • SGD simple sans élan
    • Recherche par grille
    • Adam et ses variantes
    • K-moyennes
  4. Dans la formule du cosinus, que représente T ?
    • La température du modèle pour l'échantillonnage
    • Le nombre de GPU utilisés
    • La taille du vocabulaire du tokenizer
    • Le nombre total d'étapes de formation dans le planning
  5. In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
    • Cosine decay begins from the peak learning rate
    • All model weights are reset
    • The schedule switches to a constant zero rate
    • Momentum is removed from every optimizer
  6. A linear warmup rises from zero to its target rate over 200 steps. About what rate is used halfway through?
    • The full target rate
    • About half of the target rate
    • The learning rate is exactly zero
    • Twice the target rate
  7. At the cosine horizon t = T, what multiplier does the guide’s cosine formula produce?
    • Un
    • One-half
    • Zéro
    • It becomes negative one
  8. Why use a gradual cosine decay after warmup rather than abruptly setting the rate to zero?
    • It guarantees a global minimum
    • It increases the model’s parameter count
    • It removes the need to check training loss
    • It lets the rate ease down so optimization can settle gradually