Викторина, связанная с руководством · Средний Уровень

Тест на коэффициент корреляции Мэтьюза

Проверьте рассуждения о матрице путаницы, расчеты MCC и ловушки дисбаланса классов на примерах спам-фильтров и обнаружения дефектов.

Связанные направляющие путиКоэффициент корреляции Мэтьюза
Вопрос 1 из 8

Фильтр помечает все 1000 сообщений как законные, тогда как 990 действительно являются законными. Почему его 99-процентная точность является недостаточным доказательством полезного обнаружения спама?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Фильтр помечает все 1000 сообщений как законные, тогда как 990 действительно являются законными. Почему его 99-процентная точность является недостаточным доказательством полезного обнаружения спама?
    • Каждая ошибка большинства имеет больший вес, чем ошибка спама.
    • Одна лишь точность показывает, что оба класса обладают высокой запоминаемостью.
    • Фильтр не обнаружил ни одного из десяти спам-сообщений.
    • MCC 0,99 непосредственно следует из этой точности.
  2. Какое значение получается из матрицы путаницы игрушек, составленной в руководстве, с 40 истинными положительными значениями, 40 истинными отрицательными значениями и по 10 ошибок каждого типа?
    • МКК 0,6
    • МКК 0,8
    • МКК 0,4
    • МСС 1,0
  3. В отчете MCC 0,6 интерпретируется как «60% случаев были верными». Как следует исправить эту интерпретацию?
    • Это означает, что обнаружено 60% положительных случаев.
    • Это означает, что 60% прогнозируемых положительных результатов оказались верными.
    • Это означает, что модель откалибрована с достоверностью 60%.
    • MCC — это показатель корреляции, а не правильно классифицированный процент.
  4. Для двоичных данных, содержащих оба класса, классификатор полностью меняет каждую метку. Какое значение MCC описывает эту связь?
    • 0
    • -1
    • 0,5
    • 1
  5. Завод ценит упущенные дефекты иначе, чем ненужные проверки. Какие дополнительные доказательства необходимы наряду с MCC?
    • Единый объединенный подсчет всех ошибок без их типов.
    • Только точность на текущем рабочем пороге
    • Количество ошибок и их эксплуатационные расходы
    • Только график калибровки вероятности, без подсчета ошибок
  6. Какие входные данные подходят для matthews_corrcoef scikit-learn в описанном рабочем процессе?
    • Наблюдаемые метки и прогнозируемые метки
    • Наблюдаемые метки и непороговые оценки вероятности
    • Прогнозируемые вероятности и их округленные копии
    • Метки обучения и метки из несвязанных случаев оценки
  7. Почему прогнозирование одного класса для каждого случая требует осторожности при интерпретации бинарной формулы MCC?
    • Оценка должна равняться точности большинства.
    • Отсутствующий прогнозируемый класс можно игнорировать, не влияя на формулу.
    • Идеальное припоминание выбранного класса делает знаменатель равным
    • Один коэффициент знаменателя становится нулевым
  8. Какой подход соответствует руководству при расширении отчета MCC до трех классов?
    • Вычислите три двоичных значения MCC и возьмите их невзвешенное среднее значение.
    • Используйте многоклассовую реализацию MCC и проверьте матрицу путаницы.
    • Объедините два самых редких класса перед интерпретацией исходной задачи.
    • Используйте общую точность как многоклассовое определение MCC.