Викторина, связанная с руководством · Жесткий Уровень
Вложенный тест перекрестной проверки
Проверьте роли внутренней и внешней складки, предварительную обработку расчетов утечек и подгонок с помощью практичного вложенного рабочего процесса перекрестной проверки.
Вопрос 1 из 8
Какие данные в пределах одного внешнего разделения могут использоваться при поиске внутреннего гиперпараметра?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какие данные в пределах одного внешнего разделения могут использоваться при поиске внутреннего гиперпараметра?
- Все примеры, включая внешнюю тестовую складку
- Только внешние данные обучения
- Только внешние тестовые этикетки
- Полный набор данных после глобальной предварительной обработки
- Почему в отчетах о лучших показателях внутренней проверки производительность модели может завышаться?
- Внутренняя перекрестная проверка оценивает каждого кандидата в его собственных обучающих строках.
- Усреднение по сгибам устраняет всю неопределенность в рейтингах кандидатов.
- Лучшая внутренняя оценка уже включает в себя независимую внешнюю оценку.
- Выбор наилучшей настройки также выбирает благоприятные вариации в оценках валидации.
- Сколько внутренних кандидатов подходит для пяти внешних складок, трех внутренних складок и десяти вариантов настроек в примере руководства?
- 150
- 18
- 50
- 30
- Масштабирование устанавливается на полный набор данных перед началом вложенной перекрестной проверки. Какая проблема остается?
- Использование большего количества внешних складок автоматически устраняет утечку при предварительной обработке.
- При неконтролируемой предварительной обработке не может использоваться информация, относящаяся к оценке.
- Предварительная обработка уже получила доступ к скрытой информации
- Программа масштабирования может безопасно видеть тестовые входные данные, если она не видит тестовые метки.
- Разные внешние складки выбирают разные гиперпараметры. Как это следует интерпретировать?
- Это доказывает, что код перекрестной проверки не работает.
- Это может произойти потому, что на каждом этапе выбора используются разные данные обучения.
- Это означает, что действительна только внешняя модель с наивысшим баллом.
- Это требует замены внешней оценки точностью обучения.
- Набор данных содержит множество строк на каждого клиента, а развертывание нацелено на невидимых клиентов. Какая конструкция устраняет эту зависимость?
- Перетасуйте все ряды отдельно только во внешней петле.
- Группируйте клиентов только после завершения оценки
- Перед разделением установите селектор функций глобально
- Разделяйте группы клиентов как на внутренние, так и на внешние группы.
- Как руководство рекомендует получить окончательную модель после оценки фиксированной вложенной процедуры?
- Запустите процедуру выбора по данным разработки и подгоните выбранную конфигурацию.
- Разверните модель внешней складки с наивысшим наблюдаемым результатом теста.
- Выберите конфигурацию из единственного лучшего результата внутренней складки.
- Выберите окончательные настройки, сравнивая кандидатов в зарезервированном тестовом наборе.
- Почему разброс внешних оценок не является автоматически доверительным интервалом?
- Each outer score is an independent measurement from an unrelated training set
- The raw standard deviation of fold scores is itself a confidence interval
- The fitted models share much of their training data
- Averaging fold scores removes all sampling uncertainty