SelanjutnyaPanduan berikutnya
Presisi Rata-rata dan PR-AUC
Teknis
PANDUAN Dasar
Kurva KOP dan AUC
Kurva ROC memplot seberapa baik pengklasifikasi memisahkan dua kelas di setiap ambang batas keputusan yang mungkin, dan AUC memampatkan seluruh kurva tersebut menjadi satu angka.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Together they tell you ranking quality independent of where you draw the cutoff.
Menyelam Lebih Dalam
Kurva Karakteristik Operasi Penerima (ROC) memplot Tingkat Positif Sejati (sensitivitas, pada sumbu y) terhadap Tingkat Positif Palsu (1 dikurangi spesifisitas, pada sumbu x) saat Anda menggeser ambang klasifikasi dari 1 ke bawah ke 0. Setiap ambang batas memberikan satu poin; menghubungkan mereka menelusuri kurva. Model yang mengurutkan setiap hal positif di atas setiap negatif berada di pojok kiri atas. Area Di Bawah Kurva (AUC) mengukur total area di bawah garis ini, mulai dari 0,5 (tebakan acak, diagonal) hingga 1,0 (sempurna). Interpretasi praktis: AUC sama dengan probabilitas bahwa model mendapatkan nilai positif yang dipilih secara acak lebih tinggi daripada nilai negatif yang dipilih secara acak. Istilah ini berasal dari operator radar Perang Dunia II yang membedakan sinyal dari kebisingan.
Implementasi Dunia Nyata
Membandingkan dua model pendeteksi penipuan pada suatu bank berdasarkan AUC-nya untuk memilih model yang memberi peringkat terbaik pada transaksi penipuan di atas transaksi sah
Mengevaluasi tes diagnostik untuk suatu penyakit (misalnya, pengklasifikasi skrining kanker) di mana ahli radiologi harus mengorbankan alarm palsu untuk menangkap lebih banyak kasus
Menyesuaikan ambang batas filter spam menggunakan kurva ROC untuk menjaga positif palsu (email sah ditandai sebagai spam) tetap rendah
Membandingkan model penilaian gagal bayar kredit di mana AUC merangkum seberapa baik model tersebut membedakan peminjam yang membayar kembali dengan peminjam yang gagal bayar
Masa Depan Kurva ROC dan AUC
ROC-AUC tetap menjadi metrik pelaporan default, namun para praktisi semakin sering memasangkannya dengan kurva Precision-Recall untuk data yang sangat tidak seimbang, sehingga ROC terlihat terlihat optimis. Harapkan penerapan AUC parsial yang lebih luas (berfokus pada wilayah positif palsu rendah yang penting secara operasional), analisis kurva keputusan dan sensitif terhadap biaya, dan pelaporan AUC per subgrup untuk memunculkan kesenjangan keadilan. Saat model memberikan keputusan nyata, metrik kalibrasi dan AUC akan semakin banyak dilaporkan secara berdampingan, bukan hanya AUC saja.
Mempraktikkannya
Mengapa itu penting
- Keputusan yang lebih jelas. Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
- Biaya dan anggaran. Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
- Tim dan alur kerja. Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Hati-hati
- Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
- Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
- Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Langkah selanjutnya
- Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
- Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
- Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
- Dokumentasikan di mana Kurva ROC dan AUC membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the ROC Curves and AUC quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is ROC Curves and AUC?
Kurva ROC memplot seberapa baik pengklasifikasi memisahkan dua kelas di setiap ambang batas keputusan yang mungkin, dan AUC memampatkan seluruh kurva tersebut menjadi satu angka. Bersama-sama mereka memberi tahu Anda peringkat kualitas terlepas dari di mana Anda menentukan batasnya.
Dua besaran apa yang diplotkan oleh kurva ROC terhadap satu sama lain?
Kurva ROC memplot True Positive Rate (sensitivitas) pada sumbu y terhadap False Positive Rate (1 - spesifisitas) pada sumbu x melintasi ambang batas.
Nilai AUC apa yang sesuai dengan pengklasifikasi yang kinerjanya tidak lebih baik daripada tebakan acak?
Pengklasifikasi acak menelusuri garis diagonal, memberikan AUC 0,5. AUC 1,0 adalah sempurna, dan 0,0 berarti setiap peringkatnya terbalik.
Mengapa AUC digambarkan sebagai 'tidak bergantung pada ambang batas'?
AUC merangkum seluruh kurva ROC, yang dihasilkan dengan menyapu setiap ambang batas, sehingga tidak bergantung pada satu titik batas yang dipilih.
Untuk kumpulan data yang sangat tidak seimbang, kurva manakah yang sering direkomendasikan di samping atau sebagai pengganti ROC karena ROC terlihat terlalu optimis?
Pada masalah yang jarang positif, banyaknya jumlah negatif sebenarnya membuat Tingkat Positif Palsu tetap rendah, sehingga meningkatkan ROC. Kurva Precision-Recall berfokus pada kelas positif dan mengungkapkan kinerja dengan lebih jujur.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini