Quiz lié à un guide · Moyen Niveau

Quiz sur la perte de poids et la régularisation L2

Testez les pénalités L2, le retrait vers zéro, l'équivalence SGD, le découplage AdamW, la mise à l'échelle adaptative et la force de désintégration lors de l'entraînement.

Chemins de guidage associésDécroissance du poids et régularisation L2
Question 1 de 8

Qu'ajoute la régularisation L2 à la fonction de perte ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Qu'ajoute la régularisation L2 à la fonction de perte ?
    • Le nombre de couches dans le réseau
    • Un malus sur le taux d'apprentissage
    • Le nombre d’exemples de formation
    • Une pénalité proportionnelle à la somme des carrés des poids
  2. Quel est le principal problème que la perte de poids aide à prévenir ?
    • Chargement lent des données
    • Surajustement, où le modèle mémorise le bruit dans les données d'entraînement
    • Pannes matérielles
    • Étiquettes incorrectes
  3. Dans quelle direction la dégradation du poids pousse-t-elle les poids du modèle ?
    • Vers l'infini
    • Vers le plus gros poids
    • Vers zéro
    • Vers des valeurs aléatoires
  4. Pourquoi AdamW a-t-il été introduit ?
    • Pour découpler la dégradation du poids de la mise à jour du gradient adaptatif afin que la dégradation se comporte correctement
    • Pour supprimer entièrement le dégradé
    • Pour rendre volontairement l'entraînement plus lent
    • Pour éliminer le besoin d’un taux d’apprentissage
  5. Pour une descente de gradient stochastique simple, quel est le rapport entre la régularisation L2 et la décroissance du poids ?
    • Ils sont toujours opposés
    • Ils sont mathématiquement équivalents
    • La perte de poids désactive le gradient
    • L2 ne fonctionne que pour SGD avec momentum
  6. Que contrôle le coefficient lambda dans la régularisation L2 ?
    • La taille du lot
    • Le nombre d'époques
    • La fonction d'activation
    • La force du malus sur les gros poids
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size