Optimización bayesiana para hiperparámetros

La optimización de hiperparámetros busca configuraciones como la tasa de aprendizaje, la profundidad del árbol o la intensidad de la regularización. La búsqueda de cuadrícula evalúa un conjunto de combinaciones fijas; Configuración de muestras de búsqueda aleatoria sin adaptarse a los resultados. La optimización bayesiana construye un modelo sustituto de la relación desconocida entre la configuración y el rendimiento de la validación y luego utiliza una función de adquisición para decidir qué configuración evaluar a continuación. Esto puede resultar útil cuando cada evaluación es costosa y el espacio de búsqueda es manejable. Un sustituto común es un proceso gaussiano, que predice tanto el rendimiento medio como la incertidumbre de los entornos candidatos. Reglas de adquisición como la mejora esperada, la probabilidad de mejora o un límite superior de confianza para compensar la explotación de entornos que parecen prometedores con la exploración de regiones inciertas. La madre sustituta se actualiza después de cada evaluación. Otros sustitutos, incluidos los modelos basados ​​en árboles, pueden manejar diferentes espacios o características de escala. Supongamos que a un experimento hipotético solo le quedan seis ejecuciones de entrenamiento. Un sustituto puede sugerir un entorno cercano al mejor actual y al mismo tiempo probar una región con alta incertidumbre. Esto es más adaptable que evaluar seis puntos de la cuadrícula preseleccionados, pero no garantiza un resultado global óptimo. Unos límites de búsqueda deficientes, puntuaciones de validación ruidosas o un sustituto mal especificado pueden generar sugerencias débiles. El objetivo debe reflejar datos de implementación y validación de uso que estén separados del conjunto de pruebas final. Para series temporales, preserve el orden temporal; para datos agrupados, mantenga las entidades separadas cuando corresponda. El ajuste repetido del conjunto de prueba filtra información de ese conjunto en opciones y hace que el rendimiento final sea optimista. La optimización de hiperparámetros también puede sobreajustar un criterio de validación ruidoso, especialmente después de muchas pruebas. Realice un seguimiento de todas las evaluaciones, semillas aleatorias y decisiones de parada. Compare con una línea de base sensata, evalúe la variabilidad y realice la evaluación final una vez seleccionada la configuración. La optimización bayesiana es una estrategia de búsqueda, no un sustituto de un diseño experimental sólido o de una computación suficiente.