Викторина, связанная с руководством · Средний Уровень

Викторина по поведенческому тестированию моделей машинного обучения

Различайте тесты инвариантности, направленности и тестов минимальной функциональности и поймите, почему поведенческие проверки дополняют совокупную оценку.

Вопрос 1 из 8

Изменение пунктуации должно сохранить смысл предложения. Какой тип теста проверяет стабильность выходного сигнала?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Изменение пунктуации должно сохранить смысл предложения. Какой тип теста проверяет стабильность выходного сигнала?
    • Тестирование инвариантности
    • Направленное тестирование ожиданий
    • Минимальное тестирование функциональности
    • Случайное разделение поезд-теста
  2. Модель должна реагировать в заданном направлении, когда увеличивается один проверенный ввод. Какой тип теста подходит?
    • Инвариантность
    • Направленное ожидание
    • Минимальный функционал
    • Тестирование сериализации
  3. Тест проверяет, может ли модель сохранить отрицание в простом примере перевода без сравнения преобразованных входных пар. Какая категория подходит?
    • Задержка производительности
    • Тестирование инвариантности
    • Минимальное тестирование функциональности
    • Мониторинг дрейфа данных
  4. Почему команда должна проверять ожидаемое поведение, прежде чем кодировать его как тест?
    • Обзор делает результаты модели детерминированными
    • Любое ожидаемое поведение автоматически доказывает справедливость
    • Набор тестов создает достоверные метки
    • Преобразование или ожидание могут быть действительными не для каждого контекста.
  5. Что дает прохождение небольшого поведенческого теста?
    • Модель устойчива к каждому сдвигу распределения.
    • Модель прошла указанные случаи, а не все производственные условия.
    • Модель калибруется по всем группам.
    • Набор тестов является репрезентативным по определению.
  6. Как метаморфическое тестирование связано с поведенческими тестами?
    • Требуется правильная ссылочная метка для каждого преобразованного ввода.
    • Он проверяет только точное равенство во всех преобразованиях.
    • Он проверяет ожидаемые отношения между выходными данными, когда точные ответы недоступны.
    • Это применимо только к моделям изображений, а не к другим типам ввода.
  7. Почему тест на хрупкую инвариантность может оказаться неприемлемым?
    • Модель должна быть переобучена для каждого предложения.
    • Тесты инвариантности не могут сравнивать выходные данные
    • Все вероятности модели фиксированы
    • Преобразование может изменить смысл некоторых примеров.
  8. Какую оценку должны дополнять поведенческие тесты?
    • Репрезентативные удерживаемые метрики и другие проверки модели
    • Только оценка обучающего набора
    • Никакой другой оценки не требуется
    • Только контрольный список установки пакета