Quiz lié à un guide · Moyen Niveau

Quiz sur l'étalonnage des probabilités

Vérifie les définitions d'étalonnage, les diagrammes de fiabilité, l'ECE, l'échelle de température et pourquoi la qualité de la validation est distincte de la précision de la classification.

Chemins de guidage associésCalibrage de probabilité
Question 1 de 8

Un modèle est bien calibré si, parmi les prédictions qu’il qualifie de sûres à 80 %, l’événement se produit :

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Un modèle est bien calibré si, parmi les prédictions qu’il qualifie de sûres à 80 %, l’événement se produit :
    • Environ 80% du temps
    • 100% du temps
    • Environ 20% du temps
    • Exactement une fois
  2. Quel est l'effet de l'échelle de température sur les sorties d'un réseau neuronal ?
    • Changements quelle classe est prédite
    • Divise les logits par un scalaire appris avant softmax, ajustant la confiance
    • Ajoute du bruit aux étiquettes de formation
    • Reconditionne le réseau à partir de zéro
  3. Que représente un diagramme de fiabilité ?
    • Perte d'entraînement par rapport à l'époque
    • Taille du modèle par rapport à la précision
    • Probabilité prédite par rapport à la fréquence observée
    • Taux d'apprentissage par rapport à la taille du lot
  4. Mesures de l’erreur d’étalonnage attendue (ECE) :
    • La précision top 1 du modèle
    • Le nombre de paramètres dans le modèle
    • La variance des gradients
    • L'écart moyen pondéré entre la confiance et l'exactitude dans toutes les catégories
  5. Les réseaux de neurones profonds modernes sont le plus souvent décrits comme :
    • Trop confiant
    • Manque de confiance
    • Parfaitement calibré par défaut
    • Impossible d'afficher les probabilités
  6. Pourquoi un modèle très précis peut-il encore nécessiter un étalonnage ?
    • Les modèles précis n'ont toujours aucune erreur d'étalonnage
    • La précision et l'étalonnage sont des propriétés distinctes
    • L'étalonnage n'a d'importance que pour la régression
    • La précision garantit des probabilités honnêtes
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering