A continuaciónSiguiente guía
Validación cruzada
Fundamentos
GUÍA Técnica
Validación cruzada anidada
La validación cruzada anidada utiliza un bucle interno para seleccionar la configuración de un modelo y un bucle externo para evaluar el procedimiento de selección resultante en los datos retenidos.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina3 minutos de lectura
Descripción general
Reduce la evaluación optimista que puede surgir cuando se utilizan los mismos puntajes de validación tanto para elegir entornos como para afirmar el desempeño.
Buceo profundo
Searching many model settings is itself a form of learning from data. Even when every candidate uses cross-validation, choosing the candidate with the best score favors settings that benefited from random variation in those validation folds. Reporting that winning score as a fresh performance estimate can therefore be optimistic. Nested cross-validation separates selection from evaluation. Start with an outer split. Set aside its test fold and conduct the entire search using only the outer training data. Inner cross-validation compares the candidate settings. Refit the selected configuration on the outer training data, evaluate it once on the outer test fold, and repeat this process for the other outer folds. The outer scores evaluate a procedure: the model family, search space, preprocessing and selection rule used together. Different outer folds may select different settings. That is expected, because their training data differ. The result is not a competition in which you simply deploy whichever outer-fold model achieved the highest test score. Preprocessing belongs inside the procedure. A scaler, imputer or feature selector fitted on all examples before splitting can leak information. Scikit-learn's Pipeline helps keep these operations attached to model fitting, while GridSearchCV can perform the inner search. The split strategy must also match the intended use. Repeated records from one customer may need group separation. Forecasting requires respect for time order. Nesting an unsuitable random split does not repair that design problem. After evaluating the fixed procedure, perform its selection step on the available development data and fit a final model. Preserve a separate test set if the project uses one. Repeatedly changing the procedure after inspecting outer scores can turn the outer evaluation into another tuning process.
Implementación en el mundo real
Un investigador compara varias fortalezas de regularización dentro de cada división de entrenamiento exterior. Solo el modelo seleccionado se evalúa en el pliegue de prueba exterior de esa división.
Una búsqueda hipotética utiliza cinco pliegues externos, tres pliegues internos y diez configuraciones candidatas. Realiza 150 ajustes internos candidatos, más cinco reajustamientos si el modelo seleccionado se reajusta una vez por pliegue exterior.
Un modelo utiliza múltiples registros de cada cliente. El equipo mantiene a los clientes separados entre divisiones internas y externas cuando quiere estimar el rendimiento de clientes invisibles.
Un analista coloca un Pipeline de scikit-learn dentro de GridSearchCV y evalúa esa búsqueda con una rutina de validación cruzada externa. El preprocesamiento se aprende dentro de los pliegues de entrenamiento relevantes.
El futuro de la validación cruzada anidada
A medida que las búsquedas automatizadas de modelos se vuelven más fáciles de iniciar, los sistemas de evaluación deberían hacer visible el límite entre el ajuste y las pruebas. Un informe útil registra toda la receta de selección y los datos que se le permitió inspeccionar. Luego, los equipos pueden comparar las mejoras con un procedimiento congelado en lugar de optimizar repetidamente con los mismos comentarios de la prueba. Los límites de computación seguirán siendo importantes, especialmente para los modelos caros. La respuesta adecuada es elegir un diseño de evaluación que se ajuste al proyecto y documentar sus limitaciones, en lugar de tratar capas adicionales de validación cruzada como un requisito universal.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realice el cuestionario de validación cruzada anidada
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la validación cruzada anidada?
La validación cruzada anidada utiliza un bucle interno para seleccionar la configuración de un modelo y un bucle externo para evaluar el procedimiento de selección resultante en los datos retenidos. Reduce la evaluación optimista que puede surgir cuando se utilizan los mismos puntajes de validación tanto para elegir entornos como para afirmar el desempeño.
Dentro de una división externa, ¿qué datos puede utilizar la búsqueda de hiperparámetros internos?
El pliegue de prueba externo debe permanecer fuera del proceso de selección para que pueda evaluar el procedimiento sobre los datos retenidos.
¿Por qué informar la mejor puntuación de validación interna puede exagerar el rendimiento del modelo?
La selección utiliza los resultados de la validación, por lo que la puntuación ganadora no es una evaluación independiente de ese proceso de selección.
Cinco pliegues exteriores, tres pliegues interiores y diez configuraciones candidatas requieren ¿cuántos candidatos internos caben en el ejemplo de la guía?
Multiplica los pliegues exteriores, los pliegues interiores y los candidatos: cinco por tres por diez es igual a 150.
Se instala un escalador en el conjunto de datos completo antes de que comience la validación cruzada anidada. ¿Qué problema persiste?
El anidamiento no deshace la fuga de información introducida antes de la división. El preprocesamiento debe instalarse dentro de los pliegues de entrenamiento correspondientes.
Diferentes pliegues exteriores seleccionan diferentes hiperparámetros. ¿Cómo debería interpretarse esto?
El bucle exterior evalúa el procedimiento de selección, cuyas configuraciones elegidas pueden variar con su muestra de entrenamiento.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.