СледваСледващо ръководство
Кръстосано валидиране
Основи
РЪКОВОДСТВО по основи
Матрици на объркване
Матрицата на объркване е проста таблица, която разделя прогнозите на класификатора на правилни и неправилни стойности за всеки клас.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Това е необработената таблица с резултати, от която се изчислява почти всеки друг класификационен показател.
Дълбоко гмуркане
Матрицата на объркването е решетка, сравняваща предвидените етикети с действителните етикети. За двоична класификация има четири клетки: истински положителни (правилно предвидени положителни), истински отрицателни (правилно предвидени отрицателни), фалшиви положителни (отрицателни, погрешно отбелязани като положителни, „грешка от тип I“) и фалшиви отрицателни (пропуснати положителни резултати, „грешка от тип II“). От тези четири числа извличате точност ((TP+TN)/общо), прецизност (TP/(TP+FP)), припомняне или чувствителност (TP/(TP+FN)), специфичност (TN/(TN+FP)) и резултат F1 (хармонична средна стойност на прецизност и припомняне). За проблеми с повече от два класа матрицата става N-по-N, където диагоналът съдържа правилни прогнози, а недиагоналните клетки разкриват точно кои класове се объркват за кои други.
Внедряване в реалния свят
Диагностициране къде класификаторът на изображения се проваля, като вижда, че често бърка хъскита с вълци в недиагоналните клетки
Одитиране на инструмент за медицински скрининг чрез изследване на фалшиви негативи — пациенти с болестта, която моделът обяви за здрав
Сравняване на два имейл филтъра за нежелана поща, които споделят същата точност, но се различават по това колко реални имейла погрешно блокират (фалшиви положителни резултати)
Оценяване на многокласово разпознаване на ръкописни цифри, за да се установи, че 4 и 9 най-често се бъркат една с друга
Бъдещето на матриците на объркването
Матриците на объркване ще останат основополагащи, но инструментите ги правят по-богати: интерактивни, нормализирани топлинни карти, разбивки по клас за големи набори от етикети и претеглени матрици, които умножават всеки тип грешка по неговото наказание в реалния свят. При одитирането на справедливост практиците сега изчисляват отделни матрици на объркване за всяка демографска подгрупа, за да разкрият неравномерни нива на грешки. Очаквайте продължителна интеграция в таблата за управление на модели, където щракването върху клетка показва действителните неправилно класифицирани примери за проверка.
Прилагайки го на практика
Защо има значение
- По-ясни решения. Помага ви да отделите ясните технически твърдения от маркетинговия език.
- Разходи и бюджет. Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
- Екип и работен процес. Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Внимавайте за
- Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
- Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
- Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Следващи стъпки
- Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
- Изберете един показател за успех и едно условие за неуспех преди тестване.
- Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
- Документирайте къде матриците на объркване помагат и къде по-простите методи са по-добри.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Confusion Matrices quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво представляват матриците на объркване?
Матрицата на объркване е проста таблица, която разделя прогнозите на класификатора на правилни и неправилни стойности за всеки клас. Това е необработената таблица с резултати, от която се изчислява почти всеки друг класификационен показател.
В двоична матрица на объркване, какво е фалшиво отрицателно?
Фалшиво отрицателно е действително положително, което моделът е пропуснал, като го е етикетирал като отрицателен - например болен пациент, обявен за здрав.
Кой показател измерва дела на действителните положителни резултати, които моделът правилно идентифицира?
Припомнянето (наричано още чувствителност или истинска положителна скорост) е TP / (TP + FN) — делът на реалните положителни резултати, уловени от модела.
В матрица на объркване за проблем с 5 класа какво представляват диагоналните клетки?
В N-по-N матрица диагоналът съдържа случаи, когато прогнозираният клас съвпада с истинския клас - т.е. правилни прогнози.
Защо само точността може да бъде подвеждаща без матрица за объркване?
Два модела с еднаква точност могат да разпределят грешките си много различно; матрицата на объркването разкрива дали грешките са предимно фалшиви аларми или пропуснати положителни резултати.
Резултатът F1 е средната хармонична стойност на кои два показателя?
F1 комбинира прецизност и извикване в едно число, използвайки средната хармонична стойност, която наказва големите дисбаланси между двете.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема