ДаліНаступний посібник
Середня точність і PR-AUC
технічний
ПОСІБНИК З ОСНОВ
Криві ROC і AUC
Крива ROC показує, наскільки добре класифікатор розділяє два класи за кожним можливим порогом прийняття рішення, а AUC стискає всю цю криву в одне число.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Разом вони повідомляють вам про якість рейтингу незалежно від того, де ви проводите межу.
Глибоке занурення
Крива робочих характеристик приймача (ROC) відображає коефіцієнт істинного позитивного результату (чутливість на осі Y) проти коефіцієнта помилкового позитивного результату (1 мінус специфічність на осі x), коли ви пересуваєте порогове значення класифікації від 1 до 0. Кожен поріг дає один бал; з'єднуючи їх сліди кривої. У верхньому лівому куті обіймає модель, яка оцінює всі позитиви вище всіх негативів. Площа під кривою (AUC) вимірює загальну площу під цією лінією в діапазоні від 0,5 (випадкове вгадування, діагональ) до 1,0 (ідеальна). Зручне тлумачення: AUC дорівнює ймовірності того, що навмання вибраний позитивний результат моделі буде вищим, ніж навмання вибраний негативний. Термін походить від операторів радарів Другої світової війни, які відрізняли сигнал від шуму.
Реалізація в реальному світі
Порівняння двох моделей виявлення шахрайства для банку за їхнім AUC, щоб вибрати ту, яка найкраще оцінює шахрайські транзакції над законними
Оцінка діагностичного тесту на захворювання (наприклад, класифікатор скринінгу раку), де радіологам потрібно поміняти більше випадків виявлення фальшивих тривог
Налаштування порогового значення спам-фільтра за допомогою кривої ROC для утримання помилкових спрацьовувань (законна пошта, позначена як спам) дуже низькою
Порівняльний аналіз моделі оцінки кредитного дефолту, де AUC узагальнює, наскільки добре він відокремлює позичальників, які повертають, від тих, хто дефолтує
Майбутнє кривих ROC і AUC
ROC-AUC залишається показником звітності за замовчуванням, але практики все частіше поєднують його з кривими Precision-Recall для сильно незбалансованих даних, де ROC може виглядати оманливо оптимістично. Очікуйте ширшого впровадження часткового AUC (зосереджуючись на області з низьким хибнопозитивним результатом, що має значення з операційної точки зору), чутливого до вартості аналізу та аналізу кривої прийняття рішень, а також звітування AUC для кожної підгрупи щодо поверхневих прогалин справедливості. Оскільки моделі сприяють ухваленню реальних рішень, показники калібрування та AUC все частіше повідомлятимуться поруч, а не окремо AUC.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де криві ROC і AUC допомагають, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the ROC Curves and AUC quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке криві ROC і AUC?
Крива ROC показує, наскільки добре класифікатор розділяє два класи за кожним можливим порогом прийняття рішення, а AUC стискає всю цю криву в одне число. Разом вони повідомляють вам про якість рейтингу незалежно від того, де ви проводите межу.
Які дві величини порівнює одна з одною крива ROC?
Крива ROC відкладає частоту істинних позитивних результатів (чутливість) на осі Y проти частоти помилкових позитивних результатів (1 – специфічність) на осі x через порогові значення.
Яке значення AUC відповідає класифікатору, що працює не краще, ніж випадкове вгадування?
Випадковий класифікатор відстежує діагональну лінію, даючи AUC 0,5. AUC 1,0 ідеально підходить, а 0,0 означає, що кожне ранжування повертається точно в зворотному напрямку.
Чому AUC описується як «незалежний від порогу»?
AUC підсумовує всю криву ROC, яка генерується шляхом перегляду кожного порогу, тому вона не залежить від жодного вибраного порогового значення.
Для сильно незбалансованого набору даних, яку криву часто рекомендують поряд або замість ROC, оскільки ROC може виглядати надто оптимістично?
У рідкісних позитивних проблемах велика кількість істинних негативів підтримує низький рівень помилкових позитивних результатів, завищуючи ROC. Криві Precision-Recall зосереджені на позитивному класі та більш чесно показують продуктивність.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми