Quiz lié à un guide · Difficile Niveau

Quiz sur la minimisation tenant compte de la netteté

Vérifie la mise à jour en deux passes de SAM, son rayon de voisinage, le gradient de poids perturbé et le compromis entre planéité et calcul.

Chemins de guidage associésMinimisation sensible à la netteté
Question 1 de 8

Quel genre de minimum SAM essaie-t-il de trouver ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel genre de minimum SAM essaie-t-il de trouver ?
    • Un minimum plat où la perte reste faible sur un quartier de poids
    • Le minimum le plus strict possible
    • Le minimum avec le plus de paramètres
    • Tout minimum atteignable en une seule étape
  2. Combien de passes avant-arrière une étape SAM standard nécessite-t-elle ?
    • Une demi-passe
    • Environ deux
    • Exactement un
    • Dix ou plus
  3. Que contrôle l'hyperparamètre de rayon rho dans SAM ?
    • La vitesse de décroissance du taux d’apprentissage
    • Le nombre d'époques de formation
    • La taille du voisinage autour des poids qui est protégé contre les pics de pertes
    • La probabilité d'abandon
  4. Quelle est la première des deux étapes de SAM à chaque itération ?
    • Réduire le modèle
    • Faire la moyenne des poids de toutes les étapes passées
    • Réinitialiser l'état de l'optimiseur
    • Faire un pas de montée de taille rho vers le point proche le plus défavorable
  5. Pourquoi le SAM améliore-t-il souvent la robustesse au bruit des étiquettes ?
    • Parce que les minima plats sont moins susceptibles de mémoriser des étiquettes corrompues
    • Parce qu'il supprime automatiquement les étiquettes bruyantes
    • Parce qu'il utilise un vocabulaire plus large
    • Parce que cela triple la taille du lot
  6. Laquelle de ces variantes est conçue pour réduire les coûts de calcul de SAM ?
    • RéLU
    • ESAM (SAM efficace)
    • Norme de lots
    • AdaGrad
  7. In SAM’s second pass, which gradient is used to update the original model weights?
    • The gradient of a random label
    • The first pass gradient without evaluating the perturbed point
    • The gradient evaluated at the perturbed nearby weights
    • A gradient from a different model checkpoint
  8. If SAM’s neighborhood radius rho is set to zero, what happens to its perturbation step?
    • The model parameters are all set to zero
    • The loss becomes independent of the weights
    • The optimizer takes an infinite step
    • There is no weight perturbation, so the neighborhood reduces to the current point