ДалееСледующее руководство
Перекрестная проверка
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Матрицы путаницы
Матрица путаницы — это простая таблица, которая разбивает прогнозы классификатора на правильные и неправильные значения для каждого класса.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это исходное табло, по которому рассчитываются почти все остальные показатели классификации.
Глубокое погружение
Матрица путаницы — это сетка, сравнивающая прогнозируемые метки с фактическими метками. Для двоичной классификации он имеет четыре ячейки: «Истинные положительные результаты» (правильно предсказанный положительный результат), «Истинные отрицательные значения» (правильно предсказанный отрицательный результат), «Ложные положительные результаты» (негативные значения, ошибочно помеченные как положительные, «ошибка типа I») и «Ложные отрицательные значения» (пропущенные положительные результаты, «ошибка типа II»). Из этих четырех чисел вы получаете точность ((TP+TN)/всего), прецизионность (TP/(TP+FP)), полноту или чувствительность (TP/(TP+FN)), специфичность (TN/(TN+FP)) и показатель F1 (среднее гармоническое значение точности и полноты). Для задач с более чем двумя классами матрица становится размером N на N, где диагональ содержит правильные предсказания, а недиагональные ячейки точно показывают, какие классы с какими другими путаются.
Реальная реализация
Диагностика того, где классификатор изображений дает сбой, наблюдая, что он часто путает хаски с волками в недиагональных ячейках.
Аудит инструмента медицинского скрининга путем проверки ложноотрицательных результатов — пациентов с заболеванием, которое модель объявила здоровым.
Сравнение двух спам-фильтров электронной почты, которые имеют одинаковую точность, но различаются количеством реальных писем, которые они ошибочно блокируют (ложные срабатывания).
Оценка многоклассового распознавателя рукописных цифр и обнаружение того, что 4 и 9 чаще всего путают друг с другом.
Будущее матриц путаницы
Матрицы путаницы останутся основополагающими, но инструменты делают их богаче: интерактивные нормализованные тепловые карты, разбивка по классам для больших наборов меток и матрицы, взвешенные по стоимости, которые умножают каждый тип ошибки на его реальный штраф. При аудите справедливости специалисты-практики теперь рассчитывают отдельные матрицы путаницы для каждой демографической подгруппы, чтобы выявить неодинаковую частоту ошибок. Ожидайте продолжения интеграции в информационные панели моделей, где при нажатии на ячейку будут показаны фактически неправильно классифицированные примеры для проверки.
Применение на практике
Почему это важно
- Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
- Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
- Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Следите за
- Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
- Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
- Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Следующие шаги
- Начните с простого определения желаемого результата.
- Перед тестированием выберите один показатель успеха и одно условие отказа.
- Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
- Документируйте, где матрицы путаницы помогают и где более простые методы лучше.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Confusion Matrices quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое матрицы запутанности?
Матрица путаницы — это простая таблица, которая разбивает прогнозы классификатора на правильные и неправильные значения для каждого класса. Это необработанное табло, на основе которого рассчитываются почти все остальные показатели классификации.
Что такое ложноотрицательный результат в двоичной матрице путаницы?
Ложноотрицательный результат — это фактически положительный результат, который модель пропустила, назвав его отрицательным — например, больной пациент объявлен здоровым.
Какой показатель измеряет долю фактических положительных результатов, которые правильно идентифицирует модель?
Напомним (также называемый чувствительностью или истинной положительной долей) — это TP / (TP + FN) — доля реальных позитивов, уловленных моделью.
Что представляют собой диагональные ячейки в матрице путаницы для задачи с 5 классами?
В матрице размером N на N диагональ содержит случаи, когда предсказанный класс соответствует истинному классу, т. е. правильные предсказания.
Почему сама по себе точность может вводить в заблуждение без матрицы путаницы?
Две модели с одинаковой точностью могут распределять свои ошибки совершенно по-разному; матрица путаницы показывает, являются ли ошибки в основном ложными тревогами или пропущенными позитивными событиями.
Показатель F1 является средним гармоническим значением каких двух показателей?
F1 объединяет точность и полноту в одно число, используя гармоническое среднее, что штрафует за большой дисбаланс между ними.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме