Перекрестная проверка
Перекрестная проверка — это метод повторной выборки, позволяющий оценить, насколько хорошо модель будет обобщаться на невидимые данные.
Обзор
It makes better use of limited data and gives a more reliable performance estimate than a single train/test split.
Глубокое погружение
Разделение одного поезда на тест хрупкое: получаемая вами оценка сильно зависит от того, какие строки оказались в тестовом наборе. Перекрестная проверка исправляет это, меняя роль тестового набора. При k-кратной перекрестной проверке вы разделяете данные на k равных сгибов, тренируетесь на k-1 из них, оцениваете оставшуюся складку и повторяете k раз, чтобы каждая строка проверялась ровно один раз. Усреднение k-показателей дает более стабильную оценку плюс меру изменчивости. Обычный выбор — 5 или 10 сложений. Варианты включают стратифицированное k-кратное (с сохранением пропорций классов для несбалансированных данных), исключение одного (k равно количеству выборок) и разбиение временных рядов, которые никогда не обучаются на будущее для предсказания прошлого.
Техническая информация
Перекрестная проверка наиболее эффективна для выбора модели и настройки гиперпараметров: вы сравниваете конфигурации по их среднему баллу проверки, а не переопределяете одно разделение. Критической ловушкой является утечка данных: любая предварительная обработка, которая «видит» весь набор данных (масштабирование, выбор признаков, вменение), должна помещаться внутри каждой складки, а не перед разделением, иначе ваша оценка будет оптимистично смещена. Вложенная перекрестная проверка отделяет настройку от окончательной оценки, чтобы избежать этой утечки.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее перекрестной проверки
По мере роста наборов данных и моделей выполнение k полных циклов обучения становится дорогостоящим, поэтому практики все чаще отдают предпочтение одному большому отложенному набору проверки для глубокого обучения, оставляя перекрестную проверку для небольших или табличных наборов данных. Автоматизированное машинное обучение и такие инструменты, как GridSearchCV и Optuna от scikit-learn, по умолчанию включают перекрестную проверку в поиск по гиперпараметрам. Продолжаются исследования более дешевых аппроксимаций, устойчивых к утечкам конвейеров и надлежащей проверки сгруппированных, иерархических и зависящих от времени данных.
Реальная реализация
Использование 5-кратной перекрестной проверки для сравнения логистической регрессии, случайного леса и повышения градиента перед переходом к одной модели.
Применение стратифицированного k-кратного числа к несбалансированному набору данных для обнаружения мошенничества, чтобы в каждом сгибе сохранялась примерно одна и та же пропорция редкого класса.
Запуск GridSearchCV или RandomizedSearchCV, которые перекрестно проверяют каждую комбинацию гиперпараметров, чтобы выбрать наилучшие настройки.
Использование перекрестной проверки временных рядов (скользящая/прямая цепочка) для оценки прогнозиста запасов или спроса без обучения на будущих данных.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документируйте, где перекрестная проверка помогает и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Validation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Кросс-энкодеры против би-энкодеров
Часто задаваемые вопросы
What is Cross-Validation?
Перекрестная проверка — это метод повторной выборки, позволяющий оценить, насколько хорошо модель будет обобщаться на невидимые данные. Он позволяет лучше использовать ограниченные данные и дает более надежную оценку производительности, чем разделение одного поезда на тест.
Сколько раз каждая точка данных используется для тестирования при стандартной k-кратной перекрестной проверке?
Каждый сгиб служит тестовым набором ровно один раз за k раундов, поэтому каждый образец тестируется один раз и обучается на остальных.
В чем основное преимущество k-кратной перекрестной проверки по сравнению с разделением одного поезда/теста?
Усредняя несколько раз, перекрестная проверка уменьшает дисперсию оценки производительности по сравнению с использованием одного произвольного разделения.
Почему обычная перекрестная проверка в k-кратном размере непригодна для прогнозирования временных рядов?
Перетасовка упорядоченных по времени данных пропускает будущее в обучение, поэтому CV временных рядов использует разбиения прямой цепочки, которые обучаются только на прошлых наблюдениях.