Matryce zamieszania
Macierz zamieszania to prosta tabela, która dzieli przewidywania klasyfikatora na prawidłowe i niepoprawne liczby dla każdej klasy.
Przegląd
Jest to surowa tablica wyników, na podstawie której obliczane są prawie wszystkie inne wskaźniki klasyfikacyjne.
Głębokie nurkowanie
Macierz zamieszania to siatka porównująca przewidywane etykiety z rzeczywistymi etykietami. W przypadku klasyfikacji binarnej zawiera cztery komórki: Prawdziwie pozytywne (prawidłowo przewidywany wynik pozytywny), Prawdziwie negatywne (prawidłowo przewidywany wynik negatywny), Fałszywie pozytywne (negatywy błędnie oznaczone jako pozytywne, „błąd typu I”) i fałszywie negatywne (pominięte pozytywne wyniki, „błąd typu II”). Z tych czterech liczb wyprowadzasz dokładność ((TP+TN)/całkowita), precyzję (TP/(TP+FP)), przypominanie lub czułość (TP/(TP+FN)), swoistość (TN/(TN+FP)) i wynik F1 (średnia harmoniczna precyzji i przypominania). W przypadku problemów obejmujących więcej niż dwie klasy macierz przyjmuje postać N na N, gdzie przekątna zawiera prawidłowe przewidywania, a komórki poza przekątną pokazują dokładnie, które klasy są mylone z innymi.
Wgląd techniczny
Siła macierzy polega na tym, że zachowuje strukturę błędów, które ukrywa pojedyncza liczba dokładności. Dwa modele z identyczną dokładnością wynoszącą 90% mogą mieć bardzo różne odsetki wyników fałszywie ujemnych, co ma ogromne znaczenie, gdy przeoczona diagnoza raka kosztuje więcej niż fałszywy alarm. Zgodnie z konwencją wiersze często reprezentują prawdziwe klasy, a kolumny przewidywane klasy (chociaż niektóre biblioteki to odwracają), więc zawsze sprawdzaj etykiety osi przed obliczeniem precyzji w porównaniu z przywoływaniem z komórek.
Wpływ strategiczny
Jaśniejsze decyzje
Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
Koszt i budżet
Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
Zespół i przepływ pracy
Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Przyszłość macierzy zamieszania
Macierze zamieszania pozostaną podstawą, ale narzędzia je wzbogacają: interaktywne, znormalizowane mapy cieplne, podziały na klasy w przypadku dużych zestawów etykiet oraz macierze ważone kosztem, które mnożą każdy typ błędu przez jego karę w świecie rzeczywistym. W ramach audytu uczciwości praktycy obliczają obecnie oddzielne macierze zamieszania dla każdej podgrupy demograficznej, aby ukazać nierówne poziomy błędów. Oczekuj ciągłej integracji z pulpitami nawigacyjnymi modeli, w których kliknięcie komórki powoduje wyświetlenie rzeczywistych błędnie sklasyfikowanych przykładów w celu sprawdzenia.
Implementacja w świecie rzeczywistym
Diagnozowanie, gdzie zawodzi klasyfikator obrazu, poprzez stwierdzenie, że często myli husky z wilkami w komórkach nieukośnych
Audyt narzędzia do badań przesiewowych poprzez badanie wyników fałszywie negatywnych — pacjentów z chorobą, którą model określił jako zdrowych
Porównanie dwóch filtrów spamu e-mail, które mają tę samą dokładność, ale różnią się liczbą prawdziwych wiadomości e-mail, które błędnie blokują (fałszywie pozytywne)
Ocena wieloklasowego narzędzia do rozpoznawania cyfr pisanych odręcznie w celu stwierdzenia, że cyfry 4 i 9 są najczęściej mylone ze sobą
Zagrożenia i poręcze
Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Plan wdrożenia
Zacznij od jasnej definicji potrzebnego wyniku.
Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
Dokumentuj, gdzie pomagają matryce zamieszania i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Confusion Matrices quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Walidacja krzyżowa
Często zadawane pytania
Co to są macierze zamieszania?
Macierz zamieszania to prosta tabela, która dzieli przewidywania klasyfikatora na prawidłowe i niepoprawne liczby dla każdej klasy. Jest to surowa tablica wyników, na podstawie której obliczane są prawie wszystkie inne wskaźniki klasyfikacyjne.
Co w binarnej macierzy zamieszania oznacza wynik fałszywie ujemny?
Fałszywy wynik negatywny to rzeczywisty wynik pozytywny, który model przeoczył, oznaczając go jako negatywny – na przykład chory pacjent uznany za zdrowego.
Który miernik mierzy proporcję rzeczywistych pozytywów, które model poprawnie identyfikuje?
Przypomnienie (zwane także czułością lub współczynnikiem prawdziwie dodatnim) to TP/(TP + FN) — udział rzeczywistych dodatnich wartości wykrytych przez model.
Co w macierzy zamieszania dla problemu z 5 klasami reprezentują komórki ukośne?
W macierzy N na N przekątna zawiera przypadki, w których przewidywana klasa odpowiada klasie prawdziwej — tj. prawidłowym przewidywaniom.
Dlaczego sama dokładność może wprowadzać w błąd bez matrycy zamieszania?
Dwa modele o tej samej dokładności mogą bardzo różnie rozkładać swoje błędy; macierz zamieszania pokazuje, czy błędy to głównie fałszywe alarmy, czy utracone wyniki pozytywne.
Wynik F1 jest średnią harmoniczną jakich dwóch wskaźników?
F1 łączy precyzję i zapamiętywanie w jedną liczbę, korzystając ze średniej harmonicznej, co karze za duże braki równowagi między nimi.