SeterusnyaPanduan seterusnya
Pekali Dadu dan Metrik Segmentasi
Teknikal
PANDUAN Teknikal
Pekali korelasi Matthews, atau MCC, meringkaskan sejauh mana label kelas yang diramalkan bersetuju dengan label sebenar sambil mengambil kira setiap sel matriks kekeliruan.
Dengar panduan iniAI-diceritakan · ~3 min
Ia berguna apabila saiz kelas berbeza dan skor ketepatan yang tinggi boleh menyembunyikan kegagalan pada kelas yang kurang biasa.
Pengelas boleh kelihatan berjaya dengan memilih kelas biasa berulang kali. Bayangkan set ujian yang mengandungi 990 mesej yang sah dan 10 mesej spam. Meramalkan sah untuk setiap mesej memberikan 99% ketepatan, namun penapis tidak menangkap spam. Ini ialah contoh ketidakseimbangan kelas yang dibina, bukan hasil prestasi yang dilaporkan. MCC membantu menilai hubungan antara ramalan dan hasil menggunakan klasifikasi yang betul dan salah daripada kedua-dua kelas. Dalam matriks kekeliruan binari, positif benar dan negatif benar adalah keputusan yang betul; positif palsu dan negatif palsu adalah dua jenis kesilapan. Skor hampir positif menunjukkan persetujuan yang kukuh. Sifar menunjukkan tiada korelasi, dan nilai negatif menunjukkan hubungan songsang. Dengan kedua-dua kelas binari hadir, pembalikan yang sempurna memberikan yang negatif. Pertimbangkan pengelas hipotetikal yang berbeza dengan 40 positif benar, 40 negatif benar dan 10 bagi setiap jenis ralat. Ketepatannya ialah 80%, dan MCCnya ialah 0.6. Nilai tersebut menerangkan ramalan yang sama menggunakan skala yang berbeza. MCC 0.6 tidak bermakna 60% kes dikelaskan dengan betul. MCC tidak menentukan betapa mahalnya ralat. Kecacatan mesin yang terlepas dan pemeriksaan yang tidak perlu mungkin mempunyai akibat yang sangat berbeza. Laporkan matriks kekeliruan dan metrik khusus kelas yang berkaitan bersama MCC, kemudian pilih ambang operasi menggunakan data pengesahan dan kos keputusan sebenar. Scikit-learn menyediakan matthews_corrcoef untuk label binari dan berbilang kelas. Metrik berfungsi pada kelas yang diramalkan, jadi ia tidak menilai sama ada kebarangkalian 90% yang didakwa boleh dipercayai. Kes degenerasi, seperti meramalkan hanya satu kelas, juga memerlukan penjagaan: formula binari mempunyai penyebut sifar, dan konvensyen berangka perpustakaan tidak boleh disalah anggap sebagai pengelas yang berjaya.
In a hypothetical set of 1,000 messages, 990 are legitimate. A filter that labels every message legitimate reaches 99% accuracy while detecting no spam, showing why accuracy needs additional context.
A toy classifier has 40 true positives, 40 true negatives, 10 false positives and 10 false negatives. Its MCC is 0.6, calculated from the full confusion matrix.
A team compares two defect detectors at fixed operating thresholds. Alongside MCC, it reports how many defective items each detector misses, because those misses have a specific operational cost.
An analyst uses scikit-learn's matthews_corrcoef on observed and predicted labels. They evaluate the model's probability confidence separately rather than treating MCC as a calibration score.
Automated evaluation reports can make MCC more useful by linking each score to the exact dataset, label definition and decision threshold. A team should be able to move from a summary number to the cases responsible for errors, while respecting access controls on the data. Future model comparisons should also include changing class frequencies and results for relevant subgroups. No single agreement statistic can determine whether deployment is worthwhile. The practical improvement comes from combining a reproducible score with evidence about which mistakes occur and how people respond to them.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Pekali korelasi Matthews, atau MCC, meringkaskan sejauh mana label kelas yang diramalkan bersetuju dengan label sebenar sambil mengambil kira setiap sel matriks kekeliruan. Ia berguna apabila saiz kelas berbeza dan skor ketepatan yang tinggi boleh menyembunyikan kegagalan pada kelas yang kurang biasa.
Always selecting the majority class can produce high accuracy while missing every example of the class the filter needs to detect.
The numerator is 1,500 and the denominator is 2,500, yielding an MCC of 0.6.
Accuracy expresses the fraction of correct predictions. MCC uses a different formula and scale.
A perfect inverse relationship between actual and predicted binary labels produces an MCC of negative one.
MCC summarizes association without encoding the specific consequences of false positives and false negatives.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pekali Dadu dan Metrik Segmentasi
Teknikal