Матрици на объркване
Матрицата на объркване е проста таблица, която разделя прогнозите на класификатора на правилни и неправилни стойности за всеки клас.
Преглед
It is the raw scoreboard from which nearly every other classification metric is calculated.
Дълбоко гмуркане
Матрицата на объркването е решетка, сравняваща предвидените етикети с действителните етикети. За двоична класификация има четири клетки: истински положителни (правилно предвидени положителни), истински отрицателни (правилно предвидени отрицателни), фалшиви положителни (отрицателни, погрешно отбелязани като положителни, „грешка от тип I“) и фалшиви отрицателни (пропуснати положителни резултати, „грешка от тип II“). От тези четири числа извличате точност ((TP+TN)/общо), прецизност (TP/(TP+FP)), припомняне или чувствителност (TP/(TP+FN)), специфичност (TN/(TN+FP)) и резултат F1 (хармонична средна стойност на прецизност и припомняне). За проблеми с повече от два класа матрицата става N-по-N, където диагоналът съдържа правилни прогнози, а недиагоналните клетки разкриват точно кои класове се объркват за кои други.
Техническа информация
Силата на матрицата е, че запазва структурата на грешките, които едно число за точност крие. Два модела с еднаква точност от 90% могат да имат изключително различни проценти на фалшиви отрицателни резултати, което е от огромно значение, когато пропуснатата диагноза за рак струва повече от фалшива аларма. По конвенция редовете често представляват истински класове, а колоните предсказани класове (въпреки че някои библиотеки обръщат това), така че винаги проверявайте етикетите на осите, преди да изчислите точността спрямо извикването от клетките.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Бъдещето на матриците на объркването
Матриците на объркване ще останат основополагащи, но инструментите ги правят по-богати: интерактивни, нормализирани топлинни карти, разбивки по клас за големи набори от етикети и претеглени матрици, които умножават всеки тип грешка по неговото наказание в реалния свят. При одитирането на справедливост практиците сега изчисляват отделни матрици на объркване за всяка демографска подгрупа, за да разкрият неравномерни нива на грешки. Очаквайте продължителна интеграция в таблата за управление на модели, където щракването върху клетка показва действителните неправилно класифицирани примери за проверка.
Внедряване в реалния свят
Диагностициране къде класификаторът на изображения се проваля, като вижда, че често бърка хъскита с вълци в недиагоналните клетки
Одитиране на инструмент за медицински скрининг чрез изследване на фалшиви негативи — пациенти с болестта, която моделът обяви за здрав
Сравняване на два имейл филтъра за нежелана поща, които споделят същата точност, но се различават по това колко реални имейла погрешно блокират (фалшиви положителни резултати)
Оценяване на многокласово разпознаване на ръкописни цифри, за да се установи, че 4 и 9 най-често се бъркат една с друга
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде матриците на объркване помагат и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Confusion Matrices quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Кръстосано валидиране
Frequently asked questions
What is Confusion Matrices?
Матрицата на объркване е проста таблица, която разделя прогнозите на класификатора на правилни и неправилни стойности за всеки клас. Това е необработената таблица с резултати, от която се изчислява почти всеки друг класификационен показател.
В двоична матрица на объркване, какво е фалшиво отрицателно?
Фалшиво отрицателно е действително положително, което моделът е пропуснал, като го е етикетирал като отрицателен - например болен пациент, обявен за здрав.
Кой показател измерва дела на действителните положителни резултати, които моделът правилно идентифицира?
Припомнянето (наричано още чувствителност или истинска положителна скорост) е TP / (TP + FN) — делът на реалните положителни резултати, уловени от модела.
В матрица на объркване за проблем с 5 класа какво представляват диагоналните клетки?
В N-по-N матрица диагоналът съдържа случаи, когато прогнозираният клас съвпада с истинския клас - т.е. правилни прогнози.
Защо само точността може да бъде подвеждаща без матрица за объркване?
Два модела с еднаква точност могат да разпределят грешките си много различно; матрицата на объркването разкрива дали грешките са предимно фалшиви аларми или пропуснати положителни резултати.
Резултатът F1 е средната хармонична стойност на кои два показателя?
F1 комбинира прецизност и извикване в едно число, използвайки средната хармонична стойност, която наказва големите дисбаланси между двете.