NastępnyNastępny poradnik
Walidacja krzyżowa
Podstawy
PODSTAWOWY PRZEWODNIK
Matryce zamieszania
Macierz zamieszania to prosta tabela, która dzieli przewidywania klasyfikatora na prawidłowe i niepoprawne liczby dla każdej klasy.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Jest to surowa tablica wyników, na podstawie której obliczane są prawie wszystkie inne wskaźniki klasyfikacyjne.
Głębokie nurkowanie
Macierz zamieszania to siatka porównująca przewidywane etykiety z rzeczywistymi etykietami. W przypadku klasyfikacji binarnej zawiera cztery komórki: Prawdziwie pozytywne (prawidłowo przewidywany wynik pozytywny), Prawdziwie negatywne (prawidłowo przewidywany wynik negatywny), Fałszywie pozytywne (negatywy błędnie oznaczone jako pozytywne, „błąd typu I”) i fałszywie negatywne (pominięte pozytywne wyniki, „błąd typu II”). Z tych czterech liczb wyprowadzasz dokładność ((TP+TN)/całkowita), precyzję (TP/(TP+FP)), przypominanie lub czułość (TP/(TP+FN)), swoistość (TN/(TN+FP)) i wynik F1 (średnia harmoniczna precyzji i przypominania). W przypadku problemów obejmujących więcej niż dwie klasy macierz przyjmuje postać N na N, gdzie przekątna zawiera prawidłowe przewidywania, a komórki poza przekątną pokazują dokładnie, które klasy są mylone z innymi.
Implementacja w świecie rzeczywistym
Diagnozowanie, gdzie zawodzi klasyfikator obrazu, poprzez stwierdzenie, że często myli husky z wilkami w komórkach nieukośnych
Audyt narzędzia do badań przesiewowych poprzez badanie wyników fałszywie negatywnych — pacjentów z chorobą, którą model określił jako zdrowych
Porównanie dwóch filtrów spamu e-mail, które mają tę samą dokładność, ale różnią się liczbą prawdziwych wiadomości e-mail, które błędnie blokują (fałszywie pozytywne)
Ocena wieloklasowego narzędzia do rozpoznawania cyfr pisanych odręcznie w celu stwierdzenia, że cyfry 4 i 9 są najczęściej mylone ze sobą
Przyszłość macierzy zamieszania
Macierze zamieszania pozostaną podstawą, ale narzędzia je wzbogacają: interaktywne, znormalizowane mapy cieplne, podziały na klasy w przypadku dużych zestawów etykiet oraz macierze ważone kosztem, które mnożą każdy typ błędu przez jego karę w świecie rzeczywistym. W ramach audytu uczciwości praktycy obliczają obecnie oddzielne macierze zamieszania dla każdej podgrupy demograficznej, aby ukazać nierówne poziomy błędów. Oczekuj ciągłej integracji z pulpitami nawigacyjnymi modeli, w których kliknięcie komórki powoduje wyświetlenie rzeczywistych błędnie sklasyfikowanych przykładów w celu sprawdzenia.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Jaśniejsze decyzje. Pomaga oddzielić jasne twierdzenia techniczne od języka marketingowego.
- Koszt i budżet. Możesz zadawać pytania dotyczące lepszego wdrożenia, zanim wydasz pieniądze lub czas.
- Zespół i przepływ pracy. Zespoły charakteryzujące się wspólnym zrozumieniem podejmują lepsze decyzje dotyczące produktów, zasad i uczenia się.
Uważaj na
- Różne zespoły mogą odmiennie używać tego samego terminu, dlatego należy wcześniej zdefiniować zakres.
- Testy porównawcze mogą wyglądać dobrze, podczas gdy wydajność w świecie rzeczywistym jest nierówna.
- Ignorowanie planów dotyczących jakości danych i oceny często skutkuje kruchymi wynikami.
Kolejne kroki
- Zacznij od jasnej definicji potrzebnego wyniku.
- Przed testowaniem wybierz jedną metrykę sukcesu i jeden warunek niepowodzenia.
- Przeprowadź mały pilotaż z reprezentatywnymi danymi, a nie dopracowanym zestawem demonstracyjnym.
- Dokumentuj, gdzie pomagają matryce zamieszania i gdzie prostsze metody są lepsze.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Confusion Matrices quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są macierze zamieszania?
Macierz zamieszania to prosta tabela, która dzieli przewidywania klasyfikatora na prawidłowe i niepoprawne liczby dla każdej klasy. Jest to surowa tablica wyników, na podstawie której obliczane są prawie wszystkie inne wskaźniki klasyfikacyjne.
Co w binarnej macierzy zamieszania oznacza wynik fałszywie ujemny?
Fałszywy wynik negatywny to rzeczywisty wynik pozytywny, który model przeoczył, oznaczając go jako negatywny – na przykład chory pacjent uznany za zdrowego.
Który miernik mierzy proporcję rzeczywistych pozytywów, które model poprawnie identyfikuje?
Przypomnienie (zwane także czułością lub współczynnikiem prawdziwie dodatnim) to TP/(TP + FN) — udział rzeczywistych dodatnich wartości wykrytych przez model.
Co w macierzy zamieszania dla problemu z 5 klasami reprezentują komórki ukośne?
W macierzy N na N przekątna zawiera przypadki, w których przewidywana klasa odpowiada klasie prawdziwej — tj. prawidłowym przewidywaniom.
Dlaczego sama dokładność może wprowadzać w błąd bez matrycy zamieszania?
Dwa modele o tej samej dokładności mogą bardzo różnie rozkładać swoje błędy; macierz zamieszania pokazuje, czy błędy to głównie fałszywe alarmy, czy utracone wyniki pozytywne.
Wynik F1 jest średnią harmoniczną jakich dwóch wskaźników?
F1 łączy precyzję i zapamiętywanie w jedną liczbę, korzystając ze średniej harmonicznej, co karze za duże braki równowagi między nimi.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat