Mai departeUrmătorul ghid
Coeficientul de zaruri și metrica de segmentare
Tehnic
GHID tehnic
Coeficientul de corelație Matthews
Coeficientul de corelație Matthews, sau MCC, rezumă cât de bine sunt de acord etichetele de clasă prezise cu etichetele reale, luând în considerare fiecare celulă a matricei de confuzie.
Pe această pagină3 minute de citit
Prezentare generală
Este util atunci când dimensiunile claselor diferă și un scor de precizie ridicat ar putea ascunde eșecul clasei mai puțin obișnuite.
Scufundare în profunzime
Un clasificator poate arăta de succes alegând în mod repetat clasa comună. Imaginați-vă un set de testare care conține 990 de mesaje legitime și 10 mesaje spam. Predicția legitimă pentru fiecare mesaj oferă o acuratețe de 99%, dar filtrul nu prinde spam. Acesta este un exemplu construit de dezechilibru de clasă, nu un rezultat de performanță raportat. MCC ajută la evaluarea relației dintre predicții și rezultate folosind clasificări corecte și incorecte din ambele clase. Într-o matrice de confuzie binară, adevăratele pozitive și adevăratele negative sunt decizii corecte; fals pozitive și false negative sunt cele două tipuri de greșeli. Un scor aproape de unul pozitiv indică un acord puternic. Zero indică nicio corelație, iar valorile negative indică o relație inversă. Cu ambele clase binare prezente, o inversare perfectă dă una negativă. Luați în considerare un clasificator ipotetic diferit cu 40 de pozitive adevărate, 40 de negative adevărate și 10 din fiecare tip de eroare. Precizia sa este de 80%, iar MCC este de 0,6. Aceste valori descriu aceleași predicții folosind scale diferite. Un MCC de 0,6 nu înseamnă că 60% din cazuri au fost clasificate corect. MCC nu decide cât de costisitoare este o eroare. O defecțiune a mașinii ratată și o inspecție inutilă pot avea consecințe foarte diferite. Raportați matricea de confuzie și valorile relevante specifice clasei alături de MCC, apoi alegeți un prag de operare folosind datele de validare și costurile reale ale deciziei. Scikit-learn oferă matthews_corrcoef pentru etichete binare și multiclase. Metrica funcționează pe clasele prezise, deci nu evaluează dacă probabilitatea de 90% este de încredere. Cazurile degenerate, cum ar fi prezicerea unei singure clase, necesită, de asemenea, atenție: formula binară are un numitor zero, iar convenția numerică a unei biblioteci nu trebuie confundată cu un clasificator de succes.
Impact strategic
Cost și buget
Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
Decizii mai clare
Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
Controlul calității
Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Coeficientul de corelație viitorul lui Matthews
Rapoartele de evaluare automatizate pot face MCC mai util prin conectarea fiecărui scor la setul de date exact, definiția etichetei și pragul de decizie. O echipă ar trebui să poată trece de la un număr rezumat la cazurile responsabile de erori, respectând în același timp controalele de acces la date. Comparațiile viitoare ale modelelor ar trebui să includă și schimbarea frecvențelor clasei și a rezultatelor pentru subgrupurile relevante. Nicio statistică unică nu poate determina dacă implementarea este utilă. Îmbunătățirea practică vine din combinarea unui scor reproductibil cu dovezi despre greșelile care apar și modul în care oamenii răspund la acestea.
Implementare în lumea reală
Într-un set ipotetic de 1.000 de mesaje, 990 sunt legitime. Un filtru care etichetează fiecare mesaj ca legitim atinge o acuratețe de 99% în timp ce nu detectează spam, arătând de ce acuratețea necesită context suplimentar.
Un clasificator de jucării are 40 de pozitive adevărate, 40 de negative adevărate, 10 pozitive false și 10 negative false. MCC-ul său este de 0,6, calculat din matricea completă de confuzie.
O echipă compară doi detectoare de defecte la praguri de funcționare fixe. Alături de MCC, raportează câte articole defecte ratează fiecare detector, deoarece acele erori au un cost operațional specific.
Un analist folosește matthews_corrcoef de la scikit-learn pe etichetele observate și prezise. Ei evaluează separat încrederea probabilității modelului, mai degrabă decât să trateze MCC ca un scor de calibrare.
Riscuri și balustrade
Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
Costurile de infrastructură și întreținere sunt adesea subestimate.
Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Foaia de parcurs de implementare
Definiți obiectivele de latență, calitate și cost înainte de implementare.
Benchmark în condiții realiste de încărcare și date.
Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Matthews Correlation Coefficient quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Întrebări frecvente
Ce este coeficientul de corelație Matthews?
Coeficientul de corelație Matthews, sau MCC, rezumă cât de bine sunt de acord etichetele de clasă prezise cu etichetele reale, luând în considerare fiecare celulă a matricei de confuzie. Este util atunci când dimensiunile claselor diferă și un scor de precizie ridicat ar putea ascunde eșecul clasei mai puțin obișnuite.
Un filtru etichetează toate cele 1.000 de mesaje drept legitime atunci când 990 sunt cu adevărat legitime. De ce acuratețea sa de 99% nu este dovezi suficiente pentru detectarea utilă a spam-ului?
Selectarea întotdeauna a clasei majoritare poate produce o precizie ridicată, în timp ce lipsește fiecare exemplu de clasă pe care filtrul trebuie să o detecteze.
Ce valoare rezultă din matricea de confuzie a jucăriilor a ghidului cu 40 de pozitive adevărate, 40 de negative adevărate și 10 din fiecare eroare?
Numătorul este 1.500, iar numitorul este 2.500, rezultând un MCC de 0,6.
Un raport interpretează un MCC de 0,6 ca „60% din cazuri au fost corecte”. Cum ar trebui corectată această interpretare?
Precizia exprimă fracțiunea de predicții corecte. MCC folosește o formulă și o scară diferite.
Pentru datele binare care conțin ambele clase, un clasificator inversează perfect fiecare etichetă. Care valoare MCC descrie acea relație?
O relație inversă perfectă între etichetele binare reale și cele prezise produce un MCC de unul negativ.
O fabrică evaluează defectele ratate în mod diferit față de inspecțiile inutile. Ce dovezi suplimentare sunt necesare alături de MCC?
MCC rezumă asocierea fără a codifica consecințele specifice ale fals pozitive și fals negative.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect