Cuestionario vinculado a una guía · Medio Nivel

Prueba de calibración de probabilidad

Comprueba las definiciones de calibración, los diagramas de confiabilidad, ECE, el escalado de temperatura y por qué la calidad de la validación es distinta de la precisión de la clasificación.

Rutas de guía relacionadasCalibración de probabilidad
Pregunta 1 de 8

Un modelo está bien calibrado si, entre las predicciones que etiqueta como 80% de confianza, ocurre el evento:

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. Un modelo está bien calibrado si, entre las predicciones que etiqueta como 80% de confianza, ocurre el evento:
    • Aproximadamente el 80% del tiempo
    • 100% del tiempo
    • Alrededor del 20% del tiempo
    • exactamente una vez
  2. ¿Qué efecto tiene el escalado de temperatura en las salidas de una red neuronal?
    • Cambia qué clase se predice
    • Divide los logits por un escalar aprendido antes de softmax, ajustando la confianza
    • Agrega ruido a las etiquetas de entrenamiento.
    • Vuelve a entrenar la red desde cero.
  3. ¿Qué traza un diagrama de confiabilidad?
    • Pérdida de entrenamiento versus época.
    • Tamaño del modelo versus precisión
    • Probabilidad prevista versus frecuencia observada
    • Tasa de aprendizaje versus tamaño de lote
  4. Medidas de error de calibración esperado (ECE):
    • La máxima precisión del modelo
    • El número de parámetros en el modelo.
    • La varianza de los gradientes.
    • La brecha promedio ponderada entre confianza y precisión en todos los contenedores
  5. Las redes neuronales profundas modernas se describen con mayor frecuencia como:
    • demasiado confiado
    • Poco confiado
    • Perfectamente calibrado por defecto
    • No se pueden generar probabilidades
  6. ¿Por qué un modelo de alta precisión aún puede necesitar calibración?
    • Los modelos precisos siempre tienen cero errores de calibración
    • La precisión y la calibración son propiedades distintas
    • La calibración solo importa para la regresión
    • La precisión garantiza probabilidades honestas
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering