ДалееСледующее руководство
Перекрестная проверка
Основы
Техническое РУКОВОДСТВО
Вложенная перекрестная проверка использует внутренний цикл для выбора настроек модели и внешний цикл для оценки результирующей процедуры выбора на задержанных данных.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это уменьшает оптимистическую оценку, которая может возникнуть, когда одни и те же баллы проверки используются как для выбора настроек, так и для заявления о производительности.
Поиск множества настроек модели сам по себе является формой обучения на данных. Даже когда каждый кандидат использует перекрестную проверку, выбор кандидата с лучшим результатом отдает предпочтение настройкам, которые выиграли от случайных изменений в этих сгибах проверки. Поэтому сообщение об этом победном балле в качестве новой оценки производительности может быть оптимистичным. Вложенная перекрестная проверка отделяет выбор от оценки. Начните с внешнего разделения. Отложите его тестовую складку и проведите весь поиск, используя только внешние обучающие данные. Внутренняя перекрестная проверка сравнивает настройки кандидатов. Повторно установите выбранную конфигурацию на внешние обучающие данные, оцените ее один раз на внешней тестовой сгибе и повторите этот процесс для других внешних сгибов. Внешние оценки оценивают процедуру: семейство моделей, пространство поиска, предварительную обработку и правило выбора, используемые вместе. Для разных внешних складок могут быть выбраны разные настройки. Это ожидаемо, поскольку их данные обучения различаются. Результатом не является соревнование, в котором вы просто используете ту модель внешнего сгиба, которая получила наивысший балл в тестах. Предварительная обработка принадлежит процедуре. Скалер, импьютер или селектор функций, установленный на всех примерах перед разделением, может привести к утечке информации. Pipeline Scikit-learn помогает привязать эти операции к подгонке модели, а GridSearchCV может выполнять внутренний поиск. Стратегия разделения также должна соответствовать предполагаемому использованию. Повторяющиеся записи от одного клиента могут потребовать группового разделения. Прогнозирование требует соблюдения порядка времени. Вложение неподходящего случайного разделения не решает эту проблему проектирования. После оценки фиксированной процедуры выполните этап ее выбора на имеющихся данных разработки и подгоните окончательную модель. Сохраните отдельный набор тестов, если он используется в проекте. Неоднократное изменение процедуры после проверки внешних оценок может превратить внешнюю оценку в еще один процесс настройки.
Исследователь сравнивает несколько сильных сторон регуляризации внутри каждого внешнего тренировочного разделения. Только выбранная модель оценивается на внешней тестовой складке этого разделения.
Гипотетический поиск использует пять внешних сгибов, три внутренних сгиба и десять настроек-кандидатов. Он выполняет 150 внутренних подгонок кандидатов плюс пять подгонок, если выбранная модель подгоняется один раз для каждого внешнего сгиба.
Модель использует несколько записей от каждого клиента. Команда разделяет клиентов по внутреннему и внешнему сегментам, когда хочет оценить эффективность работы с невидимыми клиентами.
Аналитик помещает конвейер scikit-learn внутри GridSearchCV и оценивает этот поиск с помощью внешней процедуры перекрестной проверки. Предварительная обработка изучается в рамках соответствующих обучающих сгибов.
Поскольку запуск автоматизированного поиска моделей становится проще, системы оценки должны сделать границу между настройкой и тестированием видимой. Полезный отчет записывает весь рецепт выбора и данные, которые было разрешено проверить. Затем команды могут сравнивать улучшения с замороженной процедурой вместо многократной оптимизации на основе одних и тех же отзывов о тестировании. Ограничения вычислений по-прежнему будут иметь значение, особенно для дорогих моделей. Правильным ответом будет выбор схемы оценки, которая соответствует проекту, и документирование его ограничений, а не рассмотрение дополнительных уровней перекрестной проверки как универсального требования.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Вложенная перекрестная проверка использует внутренний цикл для выбора настроек модели и внешний цикл для оценки результирующей процедуры выбора на задержанных данных. Это уменьшает оптимистическую оценку, которая может возникнуть, когда одни и те же баллы проверки используются как для выбора настроек, так и для заявления о производительности.
Внешняя тестовая складка должна оставаться вне процесса выбора, чтобы она могла оценить процедуру на сохраненных данных.
При отборе используются результаты проверки, поэтому выигрышный балл не является независимой оценкой процесса отбора.
Умножьте внешние складки, внутренние складки и кандидатов: пять раз трижды десять равно 150.
Вложение не устраняет утечку информации, возникшую перед разделением. Предварительная обработка должна быть помещена в соответствующие тренировочные складки.
Внешний цикл оценивает процедуру выбора, выбранные параметры которой могут различаться в зависимости от обучающей выборки.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Перекрестная проверка
Основы