Техническое РУКОВОДСТВО

Коэффициент корреляции Мэтьюза

Коэффициент корреляции Мэтьюса, или MCC, суммирует, насколько хорошо предсказанные метки классов согласуются с фактическими метками, учитывая при этом каждую ячейку матрицы путаницы.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее коэффициента корреляции Мэтьюза
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это полезно, когда размеры классов различаются и высокая оценка точности может скрыть неудачу в менее распространенном классе.

Глубокое погружение

Классификатор может выглядеть успешным, если неоднократно выбирать общий класс. Представьте себе тестовый набор, содержащий 990 легитимных сообщений и 10 спам-сообщений. Прогнозирование легитимности каждого сообщения дает точность 99%, однако фильтр не улавливает спам. Это сконструированный пример дисбаланса классов, а не заявленный результат производительности. MCC помогает оценить взаимосвязь между прогнозами и результатами, используя правильные и неправильные классификации обоих классов. В бинарной матрице путаницы истинно положительные и истинно отрицательные решения являются правильными решениями; ложноположительные и ложноотрицательные результаты — это два вида ошибок. Оценка, близкая к положительной, указывает на сильное согласие. Ноль указывает на отсутствие корреляции, а отрицательные значения указывают на обратную зависимость. При наличии обоих бинарных классов идеальный разворот дает отрицательный результат. Рассмотрим другой гипотетический классификатор с 40 истинно положительными, 40 истинно отрицательными и по 10 ошибок каждого типа. Его точность составляет 80%, а МКК – 0,6. Эти значения описывают одни и те же прогнозы с использованием разных шкал. MCC 0,6 не означает, что 60% случаев были классифицированы правильно. MCC не решает, насколько дорогостоящей является ошибка. Незамеченный дефект машины и ненужная проверка могут иметь самые разные последствия. Сообщите о матрице путаницы и соответствующих показателях для конкретного класса вместе с MCC, затем выберите рабочий порог, используя данные проверки и фактические затраты на принятие решения. Scikit-learn предоставляет matthews_corrcoef для двоичных и многоклассовых меток. Метрика работает с прогнозируемыми классами, поэтому она не оценивает, заслуживает ли доверия заявленная вероятность 90%. Вырожденные случаи, такие как прогнозирование только одного класса, также требуют осторожности: двоичная формула имеет нулевой знаменатель, и числовое соглашение библиотеки не следует путать с успешным классификатором.

Реальная реализация

Из гипотетического набора из 1000 сообщений 990 являются законными. Фильтр, который помечает каждое сообщение как законное, достигает точности 99 %, не обнаруживая при этом спама, что показывает, почему точность требует дополнительного контекста.

Классификатор игрушек имеет 40 истинных положительных результатов, 40 истинных отрицательных результатов, 10 ложных положительных результатов и 10 ложных отрицательных результатов. Его MCC составляет 0,6, рассчитанный на основе полной матрицы путаницы.

Команда сравнивает два детектора дефектов при фиксированных рабочих порогах. Помимо MCC, он сообщает, сколько дефектных изделий пропускает каждый детектор, поскольку эти промахи влекут за собой определенные эксплуатационные расходы.

Аналитик использует matthews_corrcoef scikit-learn для наблюдаемых и прогнозируемых меток. Они оценивают достоверность вероятности модели отдельно, а не рассматривают MCC как показатель калибровки.

Будущее коэффициента корреляции Мэтьюза

Автоматизированные отчеты об оценке могут сделать MCC более полезным, связывая каждую оценку с точным набором данных, определением метки и порогом принятия решения. Команда должна иметь возможность перейти от сводного числа к случаям, ответственным за ошибки, соблюдая при этом контроль доступа к данным. Будущие сравнения моделей также должны включать изменение частоты классов и результатов для соответствующих подгрупп. Никакая статистика по отдельному соглашению не может определить целесообразность развертывания. Практическое улучшение достигается за счет объединения воспроизводимых оценок с данными о том, какие ошибки происходят и как люди на них реагируют.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Matthews Correlation Coefficient quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое коэффициент корреляции Мэтьюза?

Коэффициент корреляции Мэтьюса, или MCC, суммирует, насколько хорошо предсказанные метки классов согласуются с фактическими метками, учитывая при этом каждую ячейку матрицы путаницы. Это полезно, когда размеры классов различаются и высокая оценка точности может скрыть неудачу в менее распространенном классе.

Фильтр помечает все 1000 сообщений как законные, тогда как 990 действительно являются законными. Почему его 99-процентная точность является недостаточным доказательством полезного обнаружения спама?

Всегда выбирая класс большинства, вы можете добиться высокой точности, пропуская при этом каждый пример класса, который должен обнаружить фильтр.

Какое значение получается из матрицы путаницы игрушек, составленной в руководстве, с 40 истинными положительными значениями, 40 истинными отрицательными значениями и по 10 ошибок каждого типа?

Числитель равен 1500, а знаменатель равен 2500, что дает MCC 0,6.

В отчете MCC 0,6 интерпретируется как «60% случаев были верными». Как следует исправить эту интерпретацию?

Точность выражает долю правильных прогнозов. MCC использует другую формулу и шкалу.

Для двоичных данных, содержащих оба класса, классификатор полностью меняет каждую метку. Какое значение MCC описывает эту связь?

Идеальная обратная связь между фактическими и прогнозируемыми двоичными метками дает отрицательный MCC.

Завод ценит упущенные дефекты иначе, чем ненужные проверки. Какие дополнительные доказательства необходимы наряду с MCC?

MCC обобщает ассоциации, не кодируя конкретные последствия ложноположительных и ложноотрицательных результатов.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →