ДалееСледующее руководство
Средняя точность и PR-AUC
Технический
РУКОВОДСТВО ПО ОСНОВАМ
Кривая ROC показывает, насколько хорошо классификатор разделяет два класса по каждому возможному порогу принятия решения, а AUC сжимает всю эту кривую в одно число.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Together they tell you ranking quality independent of where you draw the cutoff.
Кривая рабочей характеристики приемника (ROC) отображает уровень истинного положительного результата (чувствительность, по оси Y) в сравнении с уровнем ложного положительного результата (1 минус специфичность, по оси X) при изменении порога классификации от 1 до 0. Каждый порог дает один балл; их соединение образует кривую. Модель, в которой каждое положительное значение ставится выше каждого отрицательного, занимает верхний левый угол. Площадь под кривой (AUC) измеряет общую площадь под этой линией в диапазоне от 0,5 (случайное угадывание, диагональ) до 1,0 (идеально). Удобная интерпретация: AUC равна вероятности того, что модель наберет случайно выбранный положительный результат выше, чем случайно выбранный отрицательный. Этот термин пришел от операторов радаров времен Второй мировой войны, которые отличали сигнал от шума.
Сравнение двух моделей обнаружения мошенничества для банка по их AUC, чтобы выбрать ту, которая лучше всего ставит мошеннические транзакции выше законных.
Оценка диагностического теста на заболевание (например, классификатора скрининга рака), когда рентгенологам приходится искать компромисс между выявлением большего количества случаев и ложными тревогами.
Настройка порога спам-фильтра с использованием кривой ROC, чтобы поддерживать очень низкий уровень ложных срабатываний (законные письма, помеченные как спам).
Сравнительный анализ модели оценки кредитного дефолта, где AUC суммирует, насколько хорошо она отделяет заемщиков, которые выплачивают кредит, от тех, кто не выполняет свои обязательства.
ROC-AUC остается показателем отчетности по умолчанию, но практики все чаще связывают его с кривыми Precision-Recall для сильно несбалансированных данных, где ROC может выглядеть обманчиво оптимистично. Ожидайте более широкого внедрения частичного AUC (с акцентом на область с низким уровнем ложноположительных результатов, которая важна с оперативной точки зрения), анализа затрат и кривой принятия решений, а также отчетности по AUC для каждой подгруппы, чтобы выявить пробелы в справедливости. Поскольку модели позволяют принимать реальные решения, метрики калибровки и AUC будут все чаще сообщаться одновременно, а не только AUC.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Кривая ROC показывает, насколько хорошо классификатор разделяет два класса по каждому возможному порогу принятия решения, а AUC сжимает всю эту кривую в одно число. Вместе они говорят вам о качестве рейтинга независимо от того, где вы проводите границу.
Кривая ROC отображает уровень истинного положительного результата (чувствительность) по оси Y в сравнении с уровнем ложноположительного результата (1 – специфичность) по оси X для всех пороговых значений.
Случайный классификатор отслеживает диагональную линию, давая AUC 0,5. Значение AUC, равное 1,0, является идеальным, а значение 0,0 означает, что каждый рейтинг получает наоборот.
AUC суммирует всю кривую ROC, которая генерируется путем проверки каждого порога, поэтому она не зависит от какого-либо отдельного выбранного порогового значения.
В редких позитивных задачах большое количество истинно отрицательных результатов удерживает уровень ложноположительных результатов на низком уровне, что приводит к увеличению ROC. Кривые Precision-Recall фокусируются на положительном классе и более честно показывают производительность.
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Средняя точность и PR-AUC
Технический