Техническое РУКОВОДСТВО

Вложенная перекрестная проверка

Вложенная перекрестная проверка использует внутренний цикл для выбора настроек модели и внешний цикл для оценки результирующей процедуры выбора на задержанных данных.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее вложенной перекрестной проверки
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это уменьшает оптимистическую оценку, которая может возникнуть, когда одни и те же баллы проверки используются как для выбора настроек, так и для заявления о производительности.

Глубокое погружение

Поиск множества настроек модели сам по себе является формой обучения на данных. Даже когда каждый кандидат использует перекрестную проверку, выбор кандидата с лучшим результатом отдает предпочтение настройкам, которые выиграли от случайных изменений в этих сгибах проверки. Поэтому сообщение об этом победном балле в качестве новой оценки производительности может быть оптимистичным. Вложенная перекрестная проверка отделяет выбор от оценки. Начните с внешнего разделения. Отложите его тестовую складку и проведите весь поиск, используя только внешние обучающие данные. Внутренняя перекрестная проверка сравнивает настройки кандидатов. Повторно установите выбранную конфигурацию на внешние обучающие данные, оцените ее один раз на внешней тестовой сгибе и повторите этот процесс для других внешних сгибов. Внешние оценки оценивают процедуру: семейство моделей, пространство поиска, предварительную обработку и правило выбора, используемые вместе. Для разных внешних складок могут быть выбраны разные настройки. Это ожидаемо, поскольку их данные обучения различаются. Результатом не является соревнование, в котором вы просто используете ту модель внешнего сгиба, которая получила наивысший балл в тестах. Предварительная обработка принадлежит процедуре. Скалер, импьютер или селектор функций, установленный на всех примерах перед разделением, может привести к утечке информации. Pipeline Scikit-learn помогает привязать эти операции к подгонке модели, а GridSearchCV может выполнять внутренний поиск. Стратегия разделения также должна соответствовать предполагаемому использованию. Повторяющиеся записи от одного клиента могут потребовать группового разделения. Прогнозирование требует соблюдения порядка времени. Вложение неподходящего случайного разделения не решает эту проблему проектирования. После оценки фиксированной процедуры выполните этап ее выбора на имеющихся данных разработки и подгоните окончательную модель. Сохраните отдельный набор тестов, если он используется в проекте. Неоднократное изменение процедуры после проверки внешних оценок может превратить внешнюю оценку в еще один процесс настройки.

Реальная реализация

Исследователь сравнивает несколько сильных сторон регуляризации внутри каждого внешнего тренировочного разделения. Только выбранная модель оценивается на внешней тестовой складке этого разделения.

Гипотетический поиск использует пять внешних сгибов, три внутренних сгиба и десять настроек-кандидатов. Он выполняет 150 внутренних подгонок кандидатов плюс пять подгонок, если выбранная модель подгоняется один раз для каждого внешнего сгиба.

Модель использует несколько записей от каждого клиента. Команда разделяет клиентов по внутреннему и внешнему сегментам, когда хочет оценить эффективность работы с невидимыми клиентами.

Аналитик помещает конвейер scikit-learn внутри GridSearchCV и оценивает этот поиск с помощью внешней процедуры перекрестной проверки. Предварительная обработка изучается в рамках соответствующих обучающих сгибов.

Будущее вложенной перекрестной проверки

Поскольку запуск автоматизированного поиска моделей становится проще, системы оценки должны сделать границу между настройкой и тестированием видимой. Полезный отчет записывает весь рецепт выбора и данные, которые было разрешено проверить. Затем команды могут сравнивать улучшения с замороженной процедурой вместо многократной оптимизации на основе одних и тех же отзывов о тестировании. Ограничения вычислений по-прежнему будут иметь значение, особенно для дорогих моделей. Правильным ответом будет выбор схемы оценки, которая соответствует проекту, и документирование его ограничений, а не рассмотрение дополнительных уровней перекрестной проверки как универсального требования.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Nested Cross-Validation quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое вложенная перекрестная проверка?

Вложенная перекрестная проверка использует внутренний цикл для выбора настроек модели и внешний цикл для оценки результирующей процедуры выбора на задержанных данных. Это уменьшает оптимистическую оценку, которая может возникнуть, когда одни и те же баллы проверки используются как для выбора настроек, так и для заявления о производительности.

Какие данные в пределах одного внешнего разделения могут использоваться при поиске внутреннего гиперпараметра?

Внешняя тестовая складка должна оставаться вне процесса выбора, чтобы она могла оценить процедуру на сохраненных данных.

Почему в отчетах о лучших показателях внутренней проверки производительность модели может завышаться?

При отборе используются результаты проверки, поэтому выигрышный балл не является независимой оценкой процесса отбора.

Сколько внутренних кандидатов подходит для пяти внешних складок, трех внутренних складок и десяти вариантов настроек в примере руководства?

Умножьте внешние складки, внутренние складки и кандидатов: пять раз трижды десять равно 150.

Масштабирование устанавливается на полный набор данных перед началом вложенной перекрестной проверки. Какая проблема остается?

Вложение не устраняет утечку информации, возникшую перед разделением. Предварительная обработка должна быть помещена в соответствующие тренировочные складки.

Разные внешние складки выбирают разные гиперпараметры. Как это следует интерпретировать?

Внешний цикл оценивает процедуру выбора, выбранные параметры которой могут различаться в зависимости от обучающей выборки.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →