Il prossimoProssima guida
Coefficiente di dadi e metriche di segmentazione
Tecnico
GUIDA TECNICA
Coefficiente di correlazione di Matthews
Il coefficiente di correlazione di Matthews, o MCC, riassume il grado di concordanza tra le etichette delle classi previste e le etichette effettive, tenendo conto di ogni cella della matrice di confusione.
In questa pagina3 minuti di lettura
Panoramica
È utile quando le dimensioni delle classi differiscono e un punteggio di precisione elevato potrebbe nascondere il fallimento nella classe meno comune.
Immersione profonda
Un classificatore può sembrare efficace scegliendo ripetutamente la classe comune. Immagina un set di test contenente 990 messaggi legittimi e 10 messaggi spam. La previsione della legittimità di ogni messaggio fornisce una precisione del 99%, ma il filtro non rileva lo spam. Questo è un esempio costruito di squilibrio di classe, non un risultato di performance riportato. MCC aiuta a valutare la relazione tra previsioni e risultati utilizzando classificazioni corrette e errate di entrambe le classi. In una matrice di confusione binaria, i veri positivi e i veri negativi sono decisioni corrette; falsi positivi e falsi negativi sono i due tipi di errore. Un punteggio vicino a quello positivo indica un forte accordo. Lo zero indica alcuna correlazione e i valori negativi indicano una relazione inversa. Con entrambe le classi binarie presenti, un'inversione perfetta dà uno negativo. Considera un diverso classificatore ipotetico con 40 veri positivi, 40 veri negativi e 10 per ogni tipo di errore. La sua precisione è dell'80% e il suo MCC è 0,6. Tali valori descrivono le stesse previsioni utilizzando scale diverse. Un MCC pari a 0,6 non significa che il 60% dei casi sia stato classificato correttamente. Il Centro clienti non decide quanto costa un errore. Un mancato difetto della macchina e un'ispezione non necessaria possono avere conseguenze molto diverse. Riporta la matrice di confusione e le metriche specifiche della classe pertinenti insieme al Centro clienti, quindi scegli una soglia operativa utilizzando i dati di convalida e i costi decisionali effettivi. Scikit-learn fornisce matthews_corrcoef per etichette binarie e multiclasse. La metrica funziona sulle classi previste, quindi non valuta se una probabilità dichiarata del 90% è affidabile. Anche i casi degenerati, come la previsione di una sola classe, necessitano di attenzione: la formula binaria ha un denominatore zero e la convenzione numerica di una biblioteca non dovrebbe essere confusa con un classificatore di successo.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro del coefficiente di correlazione di Matthews
I report di valutazione automatizzati possono rendere il Centro clienti più utile collegando ciascun punteggio all'esatto set di dati, alla definizione dell'etichetta e alla soglia decisionale. Un team dovrebbe essere in grado di passare da un numero riepilogativo ai casi responsabili di errori, rispettando i controlli di accesso ai dati. I futuri confronti dei modelli dovrebbero includere anche la modifica delle frequenze delle classi e dei risultati per i sottogruppi rilevanti. Non esiste un singolo dato statistico relativo agli accordi in grado di determinare se valga la pena implementarlo. Il miglioramento pratico deriva dalla combinazione di un punteggio riproducibile con prove su quali errori si verificano e su come le persone rispondono ad essi.
Implementazione nel mondo reale
In un ipotetico insieme di 1.000 messaggi, 990 sono legittimi. Un filtro che etichetta ogni messaggio come legittimo raggiunge una precisione del 99% senza rilevare alcuno spam, dimostrando perché la precisione necessita di ulteriore contesto.
Un classificatore di giocattoli ha 40 veri positivi, 40 veri negativi, 10 falsi positivi e 10 falsi negativi. Il suo MCC è 0,6, calcolato dalla matrice di confusione completa.
Un team confronta due rilevatori di difetti a soglie operative fisse. Oltre all'MCC, segnala quanti articoli difettosi non vengono rilevati da ciascun rilevatore, poiché tali errori hanno un costo operativo specifico.
Un analista utilizza matthews_corrcoef di scikit-learn sulle etichette osservate e previste. Valutano separatamente la confidenza della probabilità del modello anziché trattare l'MCC come un punteggio di calibrazione.
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Matthews Correlation Coefficient quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Domande frequenti
Cos'è il coefficiente di correlazione di Matthews?
Il coefficiente di correlazione di Matthews, o MCC, riassume il grado di concordanza tra le etichette delle classi previste e le etichette effettive, tenendo conto di ogni cella della matrice di confusione. È utile quando le dimensioni delle classi differiscono e un punteggio di precisione elevato potrebbe nascondere il fallimento nella classe meno comune.
Un filtro etichetta tutti i 1.000 messaggi come legittimi quando 990 lo sono veramente. Perché la sua precisione del 99% non è una prova sufficiente di un utile rilevamento dello spam?
Selezionare sempre la classe maggioritaria può produrre un'elevata precisione perdendo ogni esempio della classe che il filtro deve rilevare.
Quale valore risulta dalla matrice di confusione dei giocattoli della guida con 40 veri positivi, 40 veri negativi e 10 per ogni errore?
Il numeratore è 1.500 e il denominatore è 2.500, ottenendo un MCC di 0,6.
Un rapporto interpreta un MCC di 0,6 come "il 60% dei casi erano corretti". Come si dovrebbe correggere questa interpretazione?
L'accuratezza esprime la frazione di previsioni corrette. Il Centro clienti utilizza una formula e una scala diverse.
Per i dati binari contenenti entrambe le classi, un classificatore inverte perfettamente ogni etichetta. Quale valore del Centro clienti descrive tale relazione?
Una relazione inversa perfetta tra le etichette binarie effettive e previste produce un MCC negativo.
Una fabbrica valuta i difetti mancati in modo diverso dalle ispezioni non necessarie. Quali ulteriori prove sono necessarie insieme al MCC?
MCC riassume l'associazione senza codificare le conseguenze specifiche di falsi positivi e falsi negativi.
Continua a imparare
Guide correlate
Altre guide selezionate per questo argomento