ДалееСледующее руководство
Коэффициент кубика и показатели сегментации
Технический
Техническое РУКОВОДСТВО
Коэффициент корреляции Мэтьюса, или MCC, суммирует, насколько хорошо предсказанные метки классов согласуются с фактическими метками, учитывая при этом каждую ячейку матрицы путаницы.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это полезно, когда размеры классов различаются и высокая оценка точности может скрыть неудачу в менее распространенном классе.
Классификатор может выглядеть успешным, если неоднократно выбирать общий класс. Представьте себе тестовый набор, содержащий 990 легитимных сообщений и 10 спам-сообщений. Прогнозирование легитимности каждого сообщения дает точность 99%, однако фильтр не улавливает спам. Это сконструированный пример дисбаланса классов, а не заявленный результат производительности. MCC помогает оценить взаимосвязь между прогнозами и результатами, используя правильные и неправильные классификации обоих классов. В бинарной матрице путаницы истинно положительные и истинно отрицательные решения являются правильными решениями; ложноположительные и ложноотрицательные результаты — это два вида ошибок. Оценка, близкая к положительной, указывает на сильное согласие. Ноль указывает на отсутствие корреляции, а отрицательные значения указывают на обратную зависимость. При наличии обоих бинарных классов идеальный разворот дает отрицательный результат. Рассмотрим другой гипотетический классификатор с 40 истинно положительными, 40 истинно отрицательными и по 10 ошибок каждого типа. Его точность составляет 80%, а МКК – 0,6. Эти значения описывают одни и те же прогнозы с использованием разных шкал. MCC 0,6 не означает, что 60% случаев были классифицированы правильно. MCC не решает, насколько дорогостоящей является ошибка. Незамеченный дефект машины и ненужная проверка могут иметь самые разные последствия. Сообщите о матрице путаницы и соответствующих показателях для конкретного класса вместе с MCC, затем выберите рабочий порог, используя данные проверки и фактические затраты на принятие решения. Scikit-learn предоставляет matthews_corrcoef для двоичных и многоклассовых меток. Метрика работает с прогнозируемыми классами, поэтому она не оценивает, заслуживает ли доверия заявленная вероятность 90%. Вырожденные случаи, такие как прогнозирование только одного класса, также требуют осторожности: двоичная формула имеет нулевой знаменатель, и числовое соглашение библиотеки не следует путать с успешным классификатором.
Из гипотетического набора из 1000 сообщений 990 являются законными. Фильтр, который помечает каждое сообщение как законное, достигает точности 99 %, не обнаруживая при этом спама, что показывает, почему точность требует дополнительного контекста.
Классификатор игрушек имеет 40 истинных положительных результатов, 40 истинных отрицательных результатов, 10 ложных положительных результатов и 10 ложных отрицательных результатов. Его MCC составляет 0,6, рассчитанный на основе полной матрицы путаницы.
Команда сравнивает два детектора дефектов при фиксированных рабочих порогах. Помимо MCC, он сообщает, сколько дефектных изделий пропускает каждый детектор, поскольку эти промахи влекут за собой определенные эксплуатационные расходы.
Аналитик использует matthews_corrcoef scikit-learn для наблюдаемых и прогнозируемых меток. Они оценивают достоверность вероятности модели отдельно, а не рассматривают MCC как показатель калибровки.
Автоматизированные отчеты об оценке могут сделать MCC более полезным, связывая каждую оценку с точным набором данных, определением метки и порогом принятия решения. Команда должна иметь возможность перейти от сводного числа к случаям, ответственным за ошибки, соблюдая при этом контроль доступа к данным. Будущие сравнения моделей также должны включать изменение частоты классов и результатов для соответствующих подгрупп. Никакая статистика по отдельному соглашению не может определить целесообразность развертывания. Практическое улучшение достигается за счет объединения воспроизводимых оценок с данными о том, какие ошибки происходят и как люди на них реагируют.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Коэффициент корреляции Мэтьюса, или MCC, суммирует, насколько хорошо предсказанные метки классов согласуются с фактическими метками, учитывая при этом каждую ячейку матрицы путаницы. Это полезно, когда размеры классов различаются и высокая оценка точности может скрыть неудачу в менее распространенном классе.
Всегда выбирая класс большинства, вы можете добиться высокой точности, пропуская при этом каждый пример класса, который должен обнаружить фильтр.
Числитель равен 1500, а знаменатель равен 2500, что дает MCC 0,6.
Точность выражает долю правильных прогнозов. MCC использует другую формулу и шкалу.
Идеальная обратная связь между фактическими и прогнозируемыми двоичными метками дает отрицательный MCC.
MCC обобщает ассоциации, не кодируя конкретные последствия ложноположительных и ложноотрицательных результатов.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Коэффициент кубика и показатели сегментации
Технический