Cuestionario vinculado a una guía · Medio Nivel

Prueba de importancia de la característica de permutación

Pruebe los cambios de puntuación basados en la reproducción aleatoria, los obstáculos de las características correlacionadas y los límites de las afirmaciones causales al interpretar la importancia de la permutación.

Pregunta 1 de 8

Una puntuación de "cuanto más alto, mejor" cae de 0,82 a 0,70 después de mezclar una entrada. ¿Qué valor de importancia sigue?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. Una puntuación de "cuanto más alto, mejor" cae de 0,82 a 0,70 después de mezclar una entrada. ¿Qué valor de importancia sigue?
    • 0.12
    • 0.70
    • 0.82
    • 1.52
  2. Durante una prueba básica de importancia de permutación, ¿qué parte del conjunto de datos se reorganiza deliberadamente?
    • All feature columns and outcomes together
    • The fitted model's parameter values
    • One feature's values across evaluation rows
    • Only the outcome labels while all inputs stay fixed
  3. Dos columnas de sensores casi idénticas reciben cada una una baja importancia de permutación individual. ¿Qué explicación es consistente con la guía?
    • Neither sensor can contain useful information
    • All low-importance features must be deleted immediately
    • The metric has necessarily been calculated backward
    • The model can use one sensor when the other is shuffled
  4. ¿Por qué un analista debería repetir la mezcla para cada entrada?
    • To retrain the model on every permutation
    • To examine variation caused by different random rearrangements
    • To ensure importance values sum to one
    • To force every input to have positive importance
  5. ¿En qué se diferencia la importancia de la permutación de adaptar un nuevo modelo después de eliminar una característica?
    • Permutation importance keeps the existing fitted model fixed
    • Permutation importance always changes the outcome labels
    • Feature removal cannot change predictive performance
    • Feature removal and shuffling are mathematically identical
  6. An input has negative permutation importance across some shuffles. What happened in those measurements?
    • The baseline score was necessarily negative
    • The feature was uncorrelated with every other input
    • The shuffled score was higher than the baseline score
    • The absolute magnitude of the importance was calculated instead of its sign
  7. A feature ranks highly in a permutation report. Which claim would exceed what the test establishes?
    • The fitted model's score dropped when the feature was shuffled
    • The result depends on the chosen metric
    • The ranking should be interpreted with the evaluation data
    • Changing that feature in the real world must cause the outcome to change
  8. Before treating a permutation ranking as useful evidence, which check does the guide recommend?
    • Confirm that training-set accuracy alone is high
    • Confirm that the fitted model predicts usefully on evaluation data
    • Confirm that every importance is greater than zero
    • Confirm that individual importances sum to one