Викторина, связанная с руководством · Жесткий Уровень

Вложенный тест перекрестной проверки

Проверьте роли внутренней и внешней складки, предварительную обработку расчетов утечек и подгонок с помощью практичного вложенного рабочего процесса перекрестной проверки.

Связанные направляющие путиВложенная перекрестная проверка
Вопрос 1 из 8

Какие данные в пределах одного внешнего разделения могут использоваться при поиске внутреннего гиперпараметра?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какие данные в пределах одного внешнего разделения могут использоваться при поиске внутреннего гиперпараметра?
    • Все примеры, включая внешнюю тестовую складку
    • Только внешние данные обучения
    • Только внешние тестовые этикетки
    • Полный набор данных после глобальной предварительной обработки
  2. Почему в отчетах о лучших показателях внутренней проверки производительность модели может завышаться?
    • Внутренняя перекрестная проверка оценивает каждого кандидата в его собственных обучающих строках.
    • Усреднение по сгибам устраняет всю неопределенность в рейтингах кандидатов.
    • Лучшая внутренняя оценка уже включает в себя независимую внешнюю оценку.
    • Выбор наилучшей настройки также выбирает благоприятные вариации в оценках валидации.
  3. Сколько внутренних кандидатов подходит для пяти внешних складок, трех внутренних складок и десяти вариантов настроек в примере руководства?
    • 150
    • 18
    • 50
    • 30
  4. Масштабирование устанавливается на полный набор данных перед началом вложенной перекрестной проверки. Какая проблема остается?
    • Использование большего количества внешних складок автоматически устраняет утечку при предварительной обработке.
    • При неконтролируемой предварительной обработке не может использоваться информация, относящаяся к оценке.
    • Предварительная обработка уже получила доступ к скрытой информации
    • Программа масштабирования может безопасно видеть тестовые входные данные, если она не видит тестовые метки.
  5. Разные внешние складки выбирают разные гиперпараметры. Как это следует интерпретировать?
    • Это доказывает, что код перекрестной проверки не работает.
    • Это может произойти потому, что на каждом этапе выбора используются разные данные обучения.
    • Это означает, что действительна только внешняя модель с наивысшим баллом.
    • Это требует замены внешней оценки точностью обучения.
  6. Набор данных содержит множество строк на каждого клиента, а развертывание нацелено на невидимых клиентов. Какая конструкция устраняет эту зависимость?
    • Перетасуйте все ряды отдельно только во внешней петле.
    • Группируйте клиентов только после завершения оценки
    • Перед разделением установите селектор функций глобально
    • Разделяйте группы клиентов как на внутренние, так и на внешние группы.
  7. Как руководство рекомендует получить окончательную модель после оценки фиксированной вложенной процедуры?
    • Запустите процедуру выбора по данным разработки и подгоните выбранную конфигурацию.
    • Разверните модель внешней складки с наивысшим наблюдаемым результатом теста.
    • Выберите конфигурацию из единственного лучшего результата внутренней складки.
    • Выберите окончательные настройки, сравнивая кандидатов в зарезервированном тестовом наборе.
  8. Почему разброс внешних оценок не является автоматически доверительным интервалом?
    • Each outer score is an independent measurement from an unrelated training set
    • The raw standard deviation of fold scores is itself a confidence interval
    • The fitted models share much of their training data
    • Averaging fold scores removes all sampling uncertainty