SeterusnyaPanduan seterusnya
Pengujian Ingat, Ketepatan dan Elusi dalam Semakan Dokumen
Teknikal
PANDUAN Teknikal
Ketepatan purata meringkaskan ketepatan model apabila ingatan meningkat merentas ambang keputusan.
Dengar panduan iniAI-diceritakan · ~3 min
Keluk ingatan ketepatan berguna apabila kes positif jarang berlaku, tetapi ketepatan purata dan kawasan trapezoid di bawah lengkung itu adalah pengiraan berbeza yang harus dinamakan dengan jelas.
Ketepatan bertanya berapa banyak kes terpilih yang positif. Recall bertanya berapa banyak daripada semua kes positif telah dipilih. Apabila ambang skor model diturunkan, lebih banyak kes memasuki set yang dipilih. Ingat tidak boleh berkurangan apabila ambang diturunkan, tetapi ketepatan boleh meningkat atau menurun bergantung pada kes yang baru disertakan. Keluk ingat kembali ketepatan mengesan pertukaran ini. Ia bermaklumat terutamanya untuk kelas positif yang jarang berlaku kerana ia secara langsung mendedahkan bilangan item yang dipilih adalah penggera palsu. Keluk ciri pengendalian penerima menjawab soalan yang berbeza menggunakan kadar positif palsu, yang penyebutnya merangkumi semua negatif sebenar. Kedua-dua pandangan tidak menghilangkan keperluan untuk mempertimbangkan kos keputusan sebenar. Kepersisan purata meringkaskan perhubungan ingatan kejituan dengan menimbang nilai kejituan dengan peningkatan yang sepadan dalam ingatan semula. Dalam kedudukan mudah tanpa markah terikat, ia menyamai ketepatan purata pada pangkat yang diduduki oleh kes positif. Katakan hanya dua positif muncul pertama dan ketiga. Ketepatan pada kedudukan tersebut adalah satu dan dua pertiga, jadi ketepatan purata adalah kira-kira 0.833. Label PR-AUC boleh menjadi samar-samar. Sesetengah laporan bermaksud penyepaduan trapezoid ketepatan terhadap penarikan semula; yang lain menggunakannya secara longgar untuk ketepatan purata. Scikit-learn membezakan purata_precision_score daripada auc, yang menggunakan peraturan trapezoid. Nilai ini boleh berbeza kerana andaian interpolasi berbeza. Nyatakan pengiraan sebenar. Ketepatan bergantung pada kelaziman positif dalam populasi penilaian. Skor daripada sampel seimbang mungkin tidak menggambarkan tetapan penggunaan yang positif jarang berlaku. Laporkan pecahan positif dan reka bentuk penilaian. Akhir sekali, ringkasan merentas ambang tidak memilih ambang operasi. Periksa ketepatan, penarikan semula dan beban kerja pada titik di mana model sebenarnya akan digunakan.
Baris gilir semakan mengandungi banyak item biasa dan beberapa item yang berkaitan. Keluk ingat kembali ketepatan menunjukkan pertukaran antara mencari item yang lebih berkaitan dan meminta pengulas untuk memeriksa lebih banyak item yang tidak berkaitan.
Dalam kedudukan hipotesis tanpa markah terikat, dua kes positif muncul pertama dan ketiga. Ketepatan pada kedudukan tersebut ialah 1 dan dua pertiga, jadi ketepatan purata adalah kira-kira 0.833.
Pasukan menggunakan purata_skor_kepersisan scikit-learn pada label dan markah ramalan. Ia merekodkan kelas mana yang dikira sebagai positif dan mengelak daripada menggantikan markah dengan keputusan yang sukar sebelum penilaian.
Dua set data penilaian mengandungi perkadaran kes positif yang berbeza. Seorang penganalisis melaporkan perkadaran tersebut sebelum membandingkan keputusan ingat kembali ketepatan, kerana kelaziman mengubah cara ketepatan harus ditafsirkan.
Papan pemuka penilaian boleh menjadikan metrik kedudukan lebih jelas dengan menunjukkan kelaziman positif, pengiraan kawasan tepat dan titik operasi praktikal di sebelah skor ringkasan. Pasukan penyemak mungkin paling mengambil berat tentang bilangan kes berguna yang muncul dalam kapasiti harian tetap, manakala pasukan lain mungkin memerlukan penarikan semula minimum. Memelihara ramalan dan label membolehkan soalan tersebut dikaji semula tanpa mengubah model. Apabila populasi beralih, pasukan harus menilai semula pertukaran pada data perwakilan dan bukannya menganggap hasil ketepatan purata yang lebih awal menjamin beban kerja atau kegunaan masa hadapan yang sama.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Ketepatan purata meringkaskan ketepatan model apabila ingatan meningkat merentas ambang keputusan. Keluk ingatan ketepatan berguna apabila kes positif jarang berlaku, tetapi ketepatan purata dan kawasan trapezoid di bawah lengkung itu adalah pengiraan berbeza yang harus dinamakan dengan jelas.
Ketepatan mengukur ketulenan set yang dipilih; ingat semula mengukur bahagian semua positif yang ditemui.
Ketepatan adalah satu pada positif pertama dan dua pertiga pada kedua. Purata mereka ialah lima per enam, kira-kira 0.833.
Purata kepersisan berat kejituan dengan penambahan ingatan, manakala penyepaduan trapezoid menghubungkan titik lengkung menggunakan pembinaan kawasan yang berbeza.
Skor membolehkan penilaian merentas ambang. Keputusan sukar mengekalkan hanya satu titik operasi dan membuang kebanyakan maklumat kedudukan.
Ketepatan bergantung pada kelaziman kelas, jadi populasi dan skema persampelan adalah konteks yang diperlukan.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengujian Ingat, Ketepatan dan Elusi dalam Semakan Dokumen
Teknikal