Métodos de selección de funciones

La selección de funciones mantiene algunas variables de entrada y excluye otras. Se diferencia de la extracción de características, que transforma las entradas en nuevas representaciones, como componentes principales. La selección puede reducir los costos de medición o inferencia, simplificar un modelo y, a veces, mejorar la generalización cuando variables irrelevantes o redundantes distraen al alumno. No garantiza una mayor precisión: una variable descartada puede contener una señal útil, especialmente a través de interacciones. Los métodos de filtrado puntúan las variables utilizando criterios independientes del estimador final. Los ejemplos incluyen umbrales de variación y pruebas univariadas o información mutua entre una característica y el objetivo. A menudo son económicos, pero una puntuación univariada puede pasar por alto una característica que sólo importa en combinación con otra. Un filtro de correlación también puede eliminar una de dos entradas redundantes sin saber cuál es más útil para el modelo final. Los métodos envolventes evalúan subconjuntos candidatos ajustando un estimador. La eliminación recursiva de características ajusta repetidamente un modelo, clasifica características y elimina algunas antes de reajustarlas. Esto puede reflejar el comportamiento del estimador más directamente que un simple filtro, pero el ajuste repetido cuesta tiempo y puede sobreajustarse si la selección se juzga sobre la base de los mismos datos utilizados para informar el desempeño. Los métodos integrados realizan la selección durante el ajuste del modelo. Los modelos lineales regularizados L1 pueden establecer coeficientes exactamente en cero; Los métodos basados ​​en árboles proporcionan medidas de importancia divididas que pueden guiar la selección. Estas medidas tienen suposiciones y sesgos, por lo que no deben tratarse como una verdad universal. Las características correlacionadas pueden dividir la importancia o sustituirse entre sí. Todo el procedimiento de selección pertenece dentro del proceso de formación para la evaluación. Si las puntuaciones de las características se calculan una vez utilizando todas las etiquetas antes de la validación cruzada, la información de los pliegues de validación ya ha influido en el subconjunto seleccionado. Esta fuga puede hacer que el rendimiento medido sea optimista. Compare el proceso completo, incluida la selección, utilizando las divisiones adecuadas. Mantenga a la vista las restricciones del dominio, la disponibilidad en el momento de la predicción, la equidad y el costo de medición junto con las puntuaciones.