NastępnyNastępny poradnik
Współczynnik kości i metryki segmentacji
Techniczne
PRZEWODNIK techniczny
Współczynnik korelacji Matthewsa
Współczynnik korelacji Matthewsa (MCC) podsumowuje, jak dobrze przewidywane etykiety klas zgadzają się z rzeczywistymi etykietami, uwzględniając każdą komórkę macierzy zamieszania.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Jest to przydatne, gdy rozmiary klas różnią się, a wysoki wynik dokładności może ukryć niepowodzenie w mniej popularnej klasie.
Głębokie nurkowanie
Klasyfikator może wyglądać na skuteczny, jeśli wielokrotnie wybiera wspólną klasę. Wyobraź sobie zestaw testowy zawierający 990 prawidłowych wiadomości i 10 wiadomości będących spamem. Przewidywanie wiarygodności każdej wiadomości zapewnia 99% dokładności, a mimo to filtr nie wyłapuje spamu. Jest to skonstruowany przykład braku równowagi klas, a nie raportowany wynik wydajności. MCC pomaga ocenić związek między przewidywaniami a wynikami, wykorzystując prawidłowe i niepoprawne klasyfikacje z obu klas. W binarnej macierzy zamieszania prawdziwie pozytywne i prawdziwie negatywne decyzje są prawidłowymi decyzjami; Fałszywie pozytywne i fałszywie negatywne to dwa rodzaje błędów. Wynik bliski dodatniego wskazuje na silną zgodność. Zero oznacza brak korelacji, a wartości ujemne wskazują na odwrotną zależność. Przy obecności obu klas binarnych doskonałe odwrócenie daje wartość ujemną. Rozważmy inny hipotetyczny klasyfikator z 40 prawdziwie pozytywnymi, 40 prawdziwie negatywnymi i 10 każdego rodzaju błędów. Jego dokładność wynosi 80%, a MCC wynosi 0,6. Wartości te opisują te same przewidywania przy użyciu różnych skal. Wartość MCC wynosząca 0,6 nie oznacza, że 60% przypadków zostało poprawnie sklasyfikowanych. MCC nie decyduje, jak kosztowny jest błąd. Przeoczona usterka maszyny i niepotrzebna kontrola mogą mieć bardzo różne konsekwencje. Zgłoś macierz nieporozumień i odpowiednie wskaźniki specyficzne dla klasy wraz z MCC, a następnie wybierz próg operacyjny, korzystając z danych walidacyjnych i rzeczywistych kosztów decyzji. Scikit-learn udostępnia matthews_corrcoef dla etykiet binarnych i wieloklasowych. Metryka działa na przewidywanych klasach, więc nie ocenia, czy deklarowane prawdopodobieństwo 90% jest godne zaufania. Przypadki zdegenerowane, takie jak przewidywanie tylko jednej klasy, również wymagają ostrożności: formuła binarna ma mianownik zerowy, a konwencji numerycznej biblioteki nie należy mylić z skutecznym klasyfikatorem.
Implementacja w świecie rzeczywistym
Z hipotetycznego zestawu 1000 wiadomości 990 jest prawidłowych. Filtr oznaczający każdą wiadomość jako wiarygodną osiąga 99% dokładności, nie wykrywając przy tym spamu, co pokazuje, dlaczego dokładność wymaga dodatkowego kontekstu.
Klasyfikator zabawek ma 40 wyników prawdziwie pozytywnych, 40 prawdziwie negatywnych, 10 fałszywie pozytywnych i 10 fałszywie negatywnych. Jego MCC wynosi 0,6, obliczone na podstawie macierzy pełnego zamieszania.
Zespół porównuje dwa detektory defektów przy ustalonych progach operacyjnych. Oprócz MCC raportuje liczbę wadliwych elementów, które pominął każdy detektor, ponieważ te braki wiążą się z określonymi kosztami operacyjnymi.
Analityk używa matthews_corrcoef scikit-learn do etykiet obserwowanych i przewidywanych. Oceniają oddzielnie pewność prawdopodobieństwa modelu, zamiast traktować MCC jako wynik kalibracji.
Przyszłość współczynnika korelacji Matthewsa
Zautomatyzowane raporty oceniające mogą zwiększyć użyteczność MCC, łącząc każdy wynik z dokładnym zbiorem danych, definicją etykiety i progiem decyzyjnym. Zespół powinien mieć możliwość przejścia od numeru zbiorczego do spraw odpowiedzialnych za błędy, przy jednoczesnym przestrzeganiu kontroli dostępu do danych. Przyszłe porównania modeli powinny również obejmować zmianę częstotliwości klas i wyników dla odpowiednich podgrup. Żadna statystyka dotycząca pojedynczej umowy nie może określić, czy wdrożenie się opłaca. Praktyczna poprawa wynika z połączenia powtarzalnego wyniku z dowodami na temat tego, jakie błędy występują i jak ludzie na nie reagują.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz dotyczący współczynnika korelacji Matthewsa
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest współczynnik korelacji Matthewsa?
Współczynnik korelacji Matthewsa (MCC) podsumowuje, jak dobrze przewidywane etykiety klas zgadzają się z rzeczywistymi etykietami, uwzględniając każdą komórkę macierzy zamieszania. Jest to przydatne, gdy rozmiary klas różnią się, a wysoki wynik dokładności może ukryć niepowodzenie w mniej popularnej klasie.
Filtr oznacza wszystkie 1000 wiadomości jako wiarygodne, podczas gdy 990 jest naprawdę prawidłowych. Dlaczego jego 99% dokładność nie jest wystarczającym dowodem na przydatne wykrywanie spamu?
Zawsze wybranie klasy większościowej może zapewnić wysoką dokładność, pomijając każdy przykład klasy, którą filtr musi wykryć.
Jaka wartość wynika z opracowanej w przewodniku macierzy pomyłki dotyczącej zabawek, zawierającej 40 prawdziwie pozytywnych, 40 prawdziwie negatywnych i po 10 błędów w każdym przypadku?
Licznik wynosi 1500, a mianownik 2500, co daje MCC wynoszące 0,6.
W raporcie zinterpretowano MCC na poziomie 0,6 jako „60% przypadków było prawidłowych”. Jak skorygować tę interpretację?
Dokładność wyraża ułamek prawidłowych przewidywań. MCC stosuje inną formułę i skalę.
W przypadku danych binarnych zawierających obie klasy klasyfikator doskonale odwraca każdą etykietę. Która wartość MCC opisuje tę relację?
Idealna odwrotna zależność pomiędzy rzeczywistymi i przewidywanymi etykietami binarnymi daje MCC o wartości ujemnej.
Fabryka ceni przeoczone wady inaczej niż niepotrzebne inspekcje. Jakie dodatkowe dowody są potrzebne oprócz MCC?
MCC podsumowuje powiązania bez kodowania konkretnych konsekwencji wyników fałszywie pozytywnych i fałszywie negatywnych.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat