PANDUAN Asas

Ketepatan dan Ingat

Ketepatan dan ingat semula ialah dua metrik pelengkap untuk menilai pengelas, terutamanya apabila kelas tidak seimbang.

Dengar panduan iniAI-diceritakan · ~2 min

Pada halaman ini2 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Ketepatan dan Ingatan
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Bersama-sama mereka mendedahkan perkara yang disembunyikan oleh ketepatan biasa — berapa kerap ramalan positif model adalah betul dan berapa banyak positif sebenar yang sebenarnya diperolehi.

Menyelam dalam

Apabila model menandakan item sebagai positif, dua soalan penting. Ketepatan bertanya: daripada semua yang kami tandakan, berapa banyak yang benar-benar positif? Ia sama dengan positif benar dibahagikan dengan semua positif yang diramalkan, menghukum penggera palsu. Ingat (kepekaan) bertanya: daripada semua positif sebenar di luar sana, berapa banyak yang kita tangkap? Ia sama dengan positif sebenar dibahagikan dengan semua positif sebenar, menghukum tersasar. Ini biasanya bertukar ganti: menurunkan ambang keputusan menangkap lebih banyak positif (ingat lebih tinggi) tetapi menandakan lebih banyak sampah (ketepatan lebih rendah), dan sebaliknya. Yang perlu diutamakan bergantung pada kos — penapis spam mengutamakan ketepatan (jangan buang mel sebenar), manakala skrin kanser lebih suka mengingat kembali (jangan terlepas tumor). Skor F1, min harmoniknya, mengimbangi kedua-duanya dalam satu nombor.

Pelaksanaan Dunia Sebenar

Penapis spam menala untuk ketepatan tinggi supaya e-mel yang sah hampir tidak pernah tersalah hantar ke folder spam.

Ujian saringan perubatan mengutamakan ingatan tinggi untuk mengelakkan kehilangan pesakit yang sebenarnya menghidap penyakit itu, menerima lebih banyak positif palsu untuk susulan.

Sistem carian dan pengesyoran melaporkan precision@k (berapa banyak hasil k teratas yang berkaitan) untuk mengukur kualiti kedudukan.

Pengesanan penipuan mengimbangi ketepatan dan penarikan balik melalui skor F1, kerana kedua-dua penggera palsu dan penipuan terlepas adalah mahal.

Masa Depan Ketepatan dan Ingatan

Memandangkan AI memasuki domain berkepentingan tinggi - diagnosis perubatan, penyederhanaan kandungan, penipuan - pasukan semakin melaporkan ketepatan dan ingatan (dan lengkung mereka) berbanding ketepatan sahaja, dan menyesuaikan ambang untuk memadankan kos dunia sebenar dan kekangan keadilan. Audit ketepatan/paling balik setiap kumpulan menjadi standard untuk mengesan kadar ralat yang berbeza merentas demografi. Jangkakan metrik sensitif kos yang lebih kaya, kebarangkalian yang ditentukur dan alatan yang membolehkan pihak berkepentingan memilih titik operasi secara interaktif dan bukannya menerima ambang lalai 0.5.

Mempraktikkannya

Mengapa ia penting

  • Keputusan yang lebih jelas. Ia membantu anda memisahkan tuntutan teknikal yang jelas daripada bahasa pemasaran.
  • Kos dan bajet. Anda boleh bertanya soalan pelaksanaan yang lebih baik sebelum menghabiskan wang atau masa.
  • Pasukan dan aliran kerja. Pasukan yang berkongsi pemahaman membuat keputusan produk, dasar dan pembelajaran yang lebih baik.

Berhati-hati untuk

  • Pasukan yang berbeza mungkin menggunakan istilah yang sama secara berbeza, jadi tentukan skop lebih awal.
  • Penanda aras boleh kelihatan kukuh manakala prestasi dunia sebenar tidak sekata.
  • Mengabaikan kualiti data dan rancangan penilaian sering menghasilkan hasil yang rapuh.

Langkah seterusnya

  1. Mulakan dengan definisi bahasa biasa hasil yang anda perlukan.
  2. Pilih satu metrik kejayaan dan satu keadaan kegagalan sebelum ujian.
  3. Jalankan juruterbang kecil dengan data perwakilan, bukan set demo yang digilap.
  4. Dokumen di mana Precision dan Recall membantu dan kaedah yang lebih mudah adalah lebih baik.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Precision and Recall quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Precision dan Recall?

Ketepatan dan ingat semula ialah dua metrik pelengkap untuk menilai pengelas, terutamanya apabila kelas tidak seimbang. Bersama-sama mereka mendedahkan perkara yang disembunyikan oleh ketepatan biasa — berapa kerap ramalan positif model adalah betul dan berapa banyak positif sebenar yang sebenarnya diperolehi.

Ketepatan menjawab soalan yang mana?

Ketepatan = TP / (TP + FP) mengukur ketepatan ramalan positif model — sejauh mana kebolehpercayaan bendera positif.

On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?

Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.

Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?

Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.

Six of the top ten search results are relevant. What is precision@10 for that result list?

Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.