SeterusnyaPanduan seterusnya
Pengujian Ingat, Ketepatan dan Elusi dalam Semakan Dokumen
Teknikal
PANDUAN Asas
Ketepatan dan ingat semula ialah dua metrik pelengkap untuk menilai pengelas, terutamanya apabila kelas tidak seimbang.
Dengar panduan iniAI-diceritakan · ~2 min
Bersama-sama mereka mendedahkan perkara yang disembunyikan oleh ketepatan biasa — berapa kerap ramalan positif model adalah betul dan berapa banyak positif sebenar yang sebenarnya diperolehi.
Apabila model menandakan item sebagai positif, dua soalan penting. Ketepatan bertanya: daripada semua yang kami tandakan, berapa banyak yang benar-benar positif? Ia sama dengan positif benar dibahagikan dengan semua positif yang diramalkan, menghukum penggera palsu. Ingat (kepekaan) bertanya: daripada semua positif sebenar di luar sana, berapa banyak yang kita tangkap? Ia sama dengan positif sebenar dibahagikan dengan semua positif sebenar, menghukum tersasar. Ini biasanya bertukar ganti: menurunkan ambang keputusan menangkap lebih banyak positif (ingat lebih tinggi) tetapi menandakan lebih banyak sampah (ketepatan lebih rendah), dan sebaliknya. Yang perlu diutamakan bergantung pada kos — penapis spam mengutamakan ketepatan (jangan buang mel sebenar), manakala skrin kanser lebih suka mengingat kembali (jangan terlepas tumor). Skor F1, min harmoniknya, mengimbangi kedua-duanya dalam satu nombor.
Penapis spam menala untuk ketepatan tinggi supaya e-mel yang sah hampir tidak pernah tersalah hantar ke folder spam.
Ujian saringan perubatan mengutamakan ingatan tinggi untuk mengelakkan kehilangan pesakit yang sebenarnya menghidap penyakit itu, menerima lebih banyak positif palsu untuk susulan.
Sistem carian dan pengesyoran melaporkan precision@k (berapa banyak hasil k teratas yang berkaitan) untuk mengukur kualiti kedudukan.
Pengesanan penipuan mengimbangi ketepatan dan penarikan balik melalui skor F1, kerana kedua-dua penggera palsu dan penipuan terlepas adalah mahal.
Memandangkan AI memasuki domain berkepentingan tinggi - diagnosis perubatan, penyederhanaan kandungan, penipuan - pasukan semakin melaporkan ketepatan dan ingatan (dan lengkung mereka) berbanding ketepatan sahaja, dan menyesuaikan ambang untuk memadankan kos dunia sebenar dan kekangan keadilan. Audit ketepatan/paling balik setiap kumpulan menjadi standard untuk mengesan kadar ralat yang berbeza merentas demografi. Jangkakan metrik sensitif kos yang lebih kaya, kebarangkalian yang ditentukur dan alatan yang membolehkan pihak berkepentingan memilih titik operasi secara interaktif dan bukannya menerima ambang lalai 0.5.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Ketepatan dan ingat semula ialah dua metrik pelengkap untuk menilai pengelas, terutamanya apabila kelas tidak seimbang. Bersama-sama mereka mendedahkan perkara yang disembunyikan oleh ketepatan biasa — berapa kerap ramalan positif model adalah betul dan berapa banyak positif sebenar yang sebenarnya diperolehi.
Ketepatan = TP / (TP + FP) mengukur ketepatan ramalan positif model — sejauh mana kebolehpercayaan bendera positif.
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengujian Ingat, Ketepatan dan Elusi dalam Semakan Dokumen
Teknikal