Quiz lié à un guide · Moyen Niveau

Quiz sur Adam et les optimiseurs adaptatifs

Vérifie les moments de gradient d'Adam, la correction du biais, la mise à l'échelle adaptative, l'epsilon et la mise à jour de la décroissance de poids découplée d'AdamW. dans la mise à jour des paramètres standard.

Chemins de guidage associésAdam et les optimiseurs adaptatifs
Question 1 de 8

Quelles sont les deux quantités qu'Adam suit pour chaque paramètre ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelles sont les deux quantités qu'Adam suit pour chaque paramètre ?
    • La moyenne mobile des gradients et des carrés des gradients
    • La pente maximale et minimale jamais vue
    • Le taux d'apprentissage et la taille du lot
    • La valeur du poids et son signe
  2. Pourquoi Adam applique-t-il une correction de biais à ses estimations de moment ?
    • Parce que les gradients sont toujours négatifs au début de l'entraînement
    • Parce que les moyennes mobiles commencent à zéro et sont initialement biaisées vers zéro
    • Pour augmenter le taux d’apprentissage au fil du temps
    • Pour supprimer les points de données aberrants du lot
  3. Quelle est la principale différence entre Adam et AdamW ?
    • AdamW n'utilise aucun élan
    • AdamW supprime la deuxième estimation du moment
    • AdamW dissocie la perte de poids de la mise à jour basée sur le gradient
    • AdamW ne fonctionne que sur les réseaux convolutifs
  4. Quel rôle le petit terme epsilon joue-t-il dans la règle de mise à jour d'Adam ?
    • Il définit la force de l'élan
    • Il contrôle le nombre d'époques de formation
    • Cela augmente l'ampleur du gradient
    • Il évite la division par zéro et stabilise la mise à jour
  5. Pourquoi Adam est-il souvent décrit comme « adaptatif » ?
    • Il donne effectivement à chaque paramètre sa propre taille de pas mise à l'échelle
    • Il change l'architecture du réseau pendant la formation
    • Il adapte l'ensemble de données au modèle
    • Il bascule automatiquement entre la classification et la régression
  6. Which Adam parameter controls the exponential decay rate of its squared-gradient estimate?
    • Beta1
    • Beta2
    • Epsilon
    • The weight-decay coefficient
  7. A parameter repeatedly receives large gradients. Which Adam quantity helps scale down its effective step?
    • The number of model layers
    • The batch-normalization mean
    • The second-moment estimate of squared gradients
    • The AdamW weight-decay term alone
  8. What happens when beta2 is set closer to one, all else equal?
    • The optimizer stops using gradients
    • The first-moment estimate is deleted
    • Weight decay becomes decoupled automatically
    • The squared-gradient estimate decays more slowly and retains a longer history