Cuestionario vinculado a una guía · Medio Nivel
Prueba de importancia de la característica de permutación
Pruebe los cambios de puntuación basados en la reproducción aleatoria, los obstáculos de las características correlacionadas y los límites de las afirmaciones causales al interpretar la importancia de la permutación.
Pregunta 1 de 8
Una puntuación de "cuanto más alto, mejor" cae de 0,82 a 0,70 después de mezclar una entrada. ¿Qué valor de importancia sigue?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- Una puntuación de "cuanto más alto, mejor" cae de 0,82 a 0,70 después de mezclar una entrada. ¿Qué valor de importancia sigue?
- 0.12
- 0.70
- 0.82
- 1.52
- Durante una prueba básica de importancia de permutación, ¿qué parte del conjunto de datos se reorganiza deliberadamente?
- All feature columns and outcomes together
- The fitted model's parameter values
- One feature's values across evaluation rows
- Only the outcome labels while all inputs stay fixed
- Dos columnas de sensores casi idénticas reciben cada una una baja importancia de permutación individual. ¿Qué explicación es consistente con la guía?
- Neither sensor can contain useful information
- All low-importance features must be deleted immediately
- The metric has necessarily been calculated backward
- The model can use one sensor when the other is shuffled
- ¿Por qué un analista debería repetir la mezcla para cada entrada?
- To retrain the model on every permutation
- To examine variation caused by different random rearrangements
- To ensure importance values sum to one
- To force every input to have positive importance
- ¿En qué se diferencia la importancia de la permutación de adaptar un nuevo modelo después de eliminar una característica?
- Permutation importance keeps the existing fitted model fixed
- Permutation importance always changes the outcome labels
- Feature removal cannot change predictive performance
- Feature removal and shuffling are mathematically identical
- An input has negative permutation importance across some shuffles. What happened in those measurements?
- The baseline score was necessarily negative
- The feature was uncorrelated with every other input
- The shuffled score was higher than the baseline score
- The absolute magnitude of the importance was calculated instead of its sign
- A feature ranks highly in a permutation report. Which claim would exceed what the test establishes?
- The fitted model's score dropped when the feature was shuffled
- The result depends on the chosen metric
- The ranking should be interpreted with the evaluation data
- Changing that feature in the real world must cause the outcome to change
- Before treating a permutation ranking as useful evidence, which check does the guide recommend?
- Confirm that training-set accuracy alone is high
- Confirm that the fitted model predicts usefully on evaluation data
- Confirm that every importance is greater than zero
- Confirm that individual importances sum to one