SeterusnyaPanduan seterusnya
Ketepatan Purata dan PR-AUC
Teknikal
PANDUAN Asas
Keluk ROC dan AUC
Keluk ROC memplot sejauh mana pengelas memisahkan dua kelas merentas setiap ambang keputusan yang mungkin, dan AUC memampatkan keseluruhan lengkung itu menjadi satu nombor.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Together they tell you ranking quality independent of where you draw the cutoff.
Menyelam dalam
Keluk Ciri Pengendalian Penerima (ROC) memplot Kadar Positif Benar (sensitiviti, pada paksi-y) terhadap Kadar Positif Palsu (1 tolak kekhususan, pada paksi-x) semasa anda meluncurkan ambang klasifikasi daripada 1 ke bawah kepada 0. Setiap ambang memberikan satu mata; menghubungkan mereka mengesan lengkung. Model yang meletakkan kedudukan setiap positif di atas setiap pelukan negatif di sudut kiri atas. Kawasan Di Bawah Lengkung (AUC) mengukur jumlah kawasan di bawah garisan ini, antara 0.5 (tekaan rawak, pepenjuru) hingga 1.0 (sempurna). Tafsiran yang berguna: AUC menyamai kebarangkalian bahawa model mendapat skor positif yang dipilih secara rawak lebih tinggi daripada negatif yang dipilih secara rawak. Istilah ini berasal dari pengendali radar Perang Dunia II yang membezakan isyarat daripada bunyi.
Pelaksanaan Dunia Sebenar
Membandingkan dua model pengesanan penipuan untuk bank oleh AUC mereka untuk memilih yang terbaik meletakkan kedudukan transaksi penipuan di atas yang sah
Menilai ujian diagnostik untuk penyakit (cth., pengelas saringan kanser) di mana pakar radiologi perlu menukar lebih banyak kes terhadap penggera palsu
Menala ambang penapis spam menggunakan keluk ROC untuk memastikan positif palsu (mel yang sah dibenderakan sebagai spam) sangat rendah
Menanda aras model pemarkahan lalai kredit di mana AUC meringkaskan sejauh mana ia memisahkan peminjam yang membayar balik daripada mereka yang ingkar
Masa Depan ROC Curves dan AUC
ROC-AUC kekal sebagai metrik pelaporan lalai, tetapi pengamal semakin memadankannya dengan keluk Precision-Recall untuk data yang sangat tidak seimbang, di mana ROC boleh kelihatan optimistik secara mengelirukan. Jangkakan penggunaan yang lebih luas bagi AUC separa (memfokuskan pada rantau positif palsu rendah yang penting secara operasi), analisis sensitif kos dan keluk keputusan, dan pelaporan AUC setiap subkumpulan kepada jurang keadilan. Memandangkan model memberi keputusan sebenar, metrik penentukuran dan AUC akan semakin dilaporkan bersebelahan dan bukannya AUC sahaja.
Mempraktikkannya
Mengapa ia penting
- Keputusan yang lebih jelas. Ia membantu anda memisahkan tuntutan teknikal yang jelas daripada bahasa pemasaran.
- Kos dan bajet. Anda boleh bertanya soalan pelaksanaan yang lebih baik sebelum menghabiskan wang atau masa.
- Pasukan dan aliran kerja. Pasukan yang berkongsi pemahaman membuat keputusan produk, dasar dan pembelajaran yang lebih baik.
Berhati-hati untuk
- Pasukan yang berbeza mungkin menggunakan istilah yang sama secara berbeza, jadi tentukan skop lebih awal.
- Penanda aras boleh kelihatan kukuh manakala prestasi dunia sebenar tidak sekata.
- Mengabaikan kualiti data dan rancangan penilaian sering menghasilkan hasil yang rapuh.
Langkah seterusnya
- Mulakan dengan definisi bahasa biasa hasil yang anda perlukan.
- Pilih satu metrik kejayaan dan satu keadaan kegagalan sebelum ujian.
- Jalankan juruterbang kecil dengan data perwakilan, bukan set demo yang digilap.
- Dokumen di mana ROC Curves dan AUC membantu dan kaedah yang lebih mudah adalah lebih baik.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the ROC Curves and AUC quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is ROC Curves and AUC?
Keluk ROC memplot sejauh mana pengelas memisahkan dua kelas merentas setiap ambang keputusan yang mungkin, dan AUC memampatkan keseluruhan lengkung itu menjadi satu nombor. Bersama-sama mereka memberitahu anda kualiti kedudukan bebas daripada tempat anda menarik potongan.
Apakah dua kuantiti yang plot lengkung ROC terhadap satu sama lain?
Keluk ROC memplot Kadar Positif Sejati (sensitiviti) pada paksi-y terhadap Kadar Positif Palsu (1 - kekhususan) pada paksi-x merentas ambang.
Apakah nilai AUC yang sepadan dengan pengelas yang berprestasi tidak lebih baik daripada meneka rawak?
Pengelas rawak mengesan garis pepenjuru, memberikan AUC 0.5. AUC 1.0 adalah sempurna, dan 0.0 bermakna ia mendapat setiap kedudukan tepat ke belakang.
Mengapakah AUC digambarkan sebagai 'bebas ambang'?
AUC meringkaskan keseluruhan lengkung ROC, yang dijana dengan menyapu setiap ambang, jadi ia tidak bergantung pada mana-mana potongan yang dipilih.
Untuk set data yang sangat tidak seimbang, lengkung manakah yang sering disyorkan bersama atau bukannya ROC kerana ROC boleh kelihatan terlalu optimistik?
Mengenai masalah jarang-positif, bilangan negatif benar yang besar mengekalkan Kadar Positif Palsu rendah, menaikkan ROC. Keluk Precision-Recall memfokuskan pada kelas positif dan mendedahkan prestasi dengan lebih jujur.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini