A continuaciónSiguiente guía
Backtesting Trading Strategies and Overfitting
Técnico
GUÍA DE FUNDAMENTOS
Overfitting describes fitting training-specific patterns that generalize poorly, while underfitting describes failing to capture useful structure even in the training data.
These are fitting diagnoses to investigate, not conclusions guaranteed by model size or one accuracy number.
A trained model should be evaluated beyond the examples used to fit it. Under comparable training and held-out conditions, high training performance with much weaker held-out performance can indicate overfitting to training-specific patterns. Poor performance on both sets can be consistent with underfitting, although failed optimization, unsuitable data, and other causes also need consideration. The labels therefore guide diagnosis rather than substitute for it. Changing relevant features or model capacity can be worth testing when the representation is too limited, while regularization and data choices can affect how flexibly a model fits. Bias and variance describe another view of prediction error: bias concerns systematic deviation of the estimated predictor, and variance concerns sensitivity to the sampled training data. Small models are not automatically biased, and large models are not automatically high-variance in every task. The data-generating relationship and fitting procedure matter. Validation and final testing also have different roles. Validation data can help choose a model, hyperparameters, or stopping point. Repeatedly using the final test set for those choices can make the reported final estimate optimistic, so final testing should remain separate when possible. Modern research includes double-descent curves where test error rises near an interpolation regime and falls again as capacity increases. Such observations do not make that curve universal. Assess the actual task, information available, data splits, and fitting procedure rather than infer reliability solely from parameter count.
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
Research can examine fitting behavior across architectures, optimization methods, sample sizes, and data conditions. Results should identify the setup in which a curve or diagnostic was observed. Larger models and richer features can be candidates for evaluation, while they do not guarantee improved generalization. Reports should distinguish validation used for selection from final testing and explain the available information, so an apparent improvement can be assessed alongside sampling uncertainty and possible distribution changes.
Un filtro de spam que marca cada correo electrónico que contiene el nombre de un remitente específico porque ese remitente envió mucho spam en los datos de entrenamiento, ignorando por completo a los nuevos spammers (sobreajuste).
Un modelo de precio de la vivienda que utiliza sólo metros cuadrados e ignora la ubicación, las habitaciones y las condiciones, por lo que falla gravemente en vecindarios caros (desadaptación).
Un clasificador de imágenes médicas que aprende a detectar la marca de agua del escáner de un hospital en lugar de la enfermedad y falla en otros hospitales (sobreadaptación a una característica espuria).
Trazar la pérdida de entrenamiento versus la pérdida de validación durante el entrenamiento y detenerse cuando la pérdida de validación comienza a aumentar mientras la pérdida de entrenamiento sigue cayendo (detectando el sobreajuste temprano).
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayuda el sobreajuste y el desajuste y dónde son mejores los métodos más simples.
Free newsletter
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Overfitting describes fitting training-specific patterns that generalize poorly, while underfitting describes failing to capture useful structure even in the training data. These are fitting diagnoses to investigate, not conclusions guaranteed by model size or one accuracy number.
The gap is consistent with overfitting, while a complete diagnosis should also check evaluation and data conditions.
Underfitting concerns inadequate fitting of useful structure, but the pattern should be investigated alongside other possible causes.
Estimator variance concerns changes across sampled training sets, not a universal outcome of parameter count.
Testing a better representation can address an underfitting hypothesis; it is not a guaranteed improvement.
El sobreajuste es invisible si sólo nos fijamos en la precisión del entrenamiento. Evaluar sobre datos invisibles expone la brecha entre la memorización y la generalización genuina.
sigue aprendiendo
Más guías seleccionadas para este tema.
A continuaciónSiguiente guía
Backtesting Trading Strategies and Overfitting
Técnico