РУКОВОДСТВО ПО ОСНОВАМ

Кривые ROC и AUC

Кривая ROC показывает, насколько хорошо классификатор разделяет два класса по каждому возможному порогу принятия решения, а AUC сжимает всю эту кривую в одно число.

Прослушайте это руководствоОзвучено ИИ · ~2 min

На этой странице2 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее кривых ROC и AUC
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Together they tell you ranking quality independent of where you draw the cutoff.

Глубокое погружение

Кривая рабочей характеристики приемника (ROC) отображает уровень истинного положительного результата (чувствительность, по оси Y) в сравнении с уровнем ложного положительного результата (1 минус специфичность, по оси X) при изменении порога классификации от 1 до 0. Каждый порог дает один балл; их соединение образует кривую. Модель, в которой каждое положительное значение ставится выше каждого отрицательного, занимает верхний левый угол. Площадь под кривой (AUC) измеряет общую площадь под этой линией в диапазоне от 0,5 (случайное угадывание, диагональ) до 1,0 (идеально). Удобная интерпретация: AUC равна вероятности того, что модель наберет случайно выбранный положительный результат выше, чем случайно выбранный отрицательный. Этот термин пришел от операторов радаров времен Второй мировой войны, которые отличали сигнал от шума.

Реальная реализация

Сравнение двух моделей обнаружения мошенничества для банка по их AUC, чтобы выбрать ту, которая лучше всего ставит мошеннические транзакции выше законных.

Оценка диагностического теста на заболевание (например, классификатора скрининга рака), когда рентгенологам приходится искать компромисс между выявлением большего количества случаев и ложными тревогами.

Настройка порога спам-фильтра с использованием кривой ROC, чтобы поддерживать очень низкий уровень ложных срабатываний (законные письма, помеченные как спам).

Сравнительный анализ модели оценки кредитного дефолта, где AUC суммирует, насколько хорошо она отделяет заемщиков, которые выплачивают кредит, от тех, кто не выполняет свои обязательства.

Будущее кривых ROC и AUC

ROC-AUC остается показателем отчетности по умолчанию, но практики все чаще связывают его с кривыми Precision-Recall для сильно несбалансированных данных, где ROC может выглядеть обманчиво оптимистично. Ожидайте более широкого внедрения частичного AUC (с акцентом на область с низким уровнем ложноположительных результатов, которая важна с оперативной точки зрения), анализа затрат и кривой принятия решений, а также отчетности по AUC для каждой подгруппы, чтобы выявить пробелы в справедливости. Поскольку модели позволяют принимать реальные решения, метрики калибровки и AUC будут все чаще сообщаться одновременно, а не только AUC.

Применение на практике

Почему это важно

  • Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
  • Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
  • Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.

Следите за

  • Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
  • Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
  • Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.

Следующие шаги

  1. Начните с простого определения желаемого результата.
  2. Перед тестированием выберите один показатель успеха и одно условие отказа.
  3. Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
  4. Документируйте, где помогают кривые ROC и AUC и где более простые методы лучше.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the ROC Curves and AUC quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

What is ROC Curves and AUC?

Кривая ROC показывает, насколько хорошо классификатор разделяет два класса по каждому возможному порогу принятия решения, а AUC сжимает всю эту кривую в одно число. Вместе они говорят вам о качестве рейтинга независимо от того, где вы проводите границу.

Какие две величины отображает кривая ROC друг против друга?

Кривая ROC отображает уровень истинного положительного результата (чувствительность) по оси Y в сравнении с уровнем ложноположительного результата (1 – специфичность) по оси X для всех пороговых значений.

Какое значение AUC соответствует классификатору, который работает не лучше, чем случайное угадывание?

Случайный классификатор отслеживает диагональную линию, давая AUC 0,5. Значение AUC, равное 1,0, является идеальным, а значение 0,0 означает, что каждый рейтинг получает наоборот.

Почему AUC называют «независимой от порога»?

AUC суммирует всю кривую ROC, которая генерируется путем проверки каждого порога, поэтому она не зависит от какого-либо отдельного выбранного порогового значения.

Для сильно несбалансированного набора данных какую кривую часто рекомендуется использовать рядом с ROC или вместо него, поскольку ROC может выглядеть слишком оптимистично?

В редких позитивных задачах большое количество истинно отрицательных результатов удерживает уровень ложноположительных результатов на низком уровне, что приводит к увеличению ROC. Кривые Precision-Recall фокусируются на положительном классе и более честно показывают производительность.

Why can a model have a high ROC-AUC but poorly calibrated probability estimates?

The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →