SeterusnyaPanduan seterusnya
Menilai Sistem Pencadang: NDCG, Kadar Hit dan Banyak Lagi
Teknikal
PANDUAN Teknikal
Metrik kedudukan menilai susunan item dan bukannya sama ada label individu adalah betul.
Dengar panduan iniAI-diceritakan · ~3 min
Precision@k, recall@k, MAP, MRR dan keuntungan terkumpul terdiskaun ternormal menekankan aspek yang berbeza, jadi pilihan metrik harus sepadan dengan tugas pemeringkatan dan pertimbangan kaitannya.
Sistem pemeringkatan memesan calon untuk pengguna atau pertanyaan. Penilaian harus mencerminkan di mana hasil yang berkaitan muncul dan bagaimana perkaitan ditakrifkan. Ketepatan pada k ialah pecahan daripada keputusan k teratas yang dinilai relevan. Ingat semula pada k ialah pecahan daripada semua calon yang berkaitan yang diambil dalam k atas. Ketepatan menekankan kualiti set yang dipaparkan; ingat kembali menekankan berapa banyak set yang berkaitan ditemui. Ketepatan purata meringkaskan ketepatan pada kedudukan di mana item yang berkaitan berlaku, dan purata ketepatan purata (MAP) purata yang bernilai merentas pertanyaan. Purata kedudukan timbal balik (MRR) menggunakan timbal balik kedudukan hasil pertama yang berkaitan dan purata merentas pertanyaan. MRR berguna apabila mencari satu keputusan yang baik dengan cepat adalah keutamaan, tetapi ia sebahagian besarnya mengabaikan kualiti peringkat kemudian. Keuntungan kumulatif terdiskaun (DCG) menyokong perkaitan berperingkat. Fungsi keuntungan memberikan nilai yang lebih besar kepada item yang lebih berkaitan, manakala diskaun logaritma mengurangkan kredit untuk item yang lebih rendah dalam senarai. DCG ternormal membahagikan DCG kedudukan dengan DCG yang ideal untuk pertanyaan itu, memberikan skor biasanya antara sifar dan satu apabila definisi diselaraskan. Normalisasi ini menjadikan nilai lebih setanding merentas pertanyaan dengan taburan perkaitan yang berbeza, tetapi pilihan pengagregatan masih penting. Katakan pertanyaan mempunyai satu item yang sangat berkaitan dan satu lagi item yang agak berkaitan. Meletakkan hasil yang sangat relevan dahulu menghasilkan lebih banyak DCG daripada meletakkannya di tempat kedua. NDCG menangkap kedua-dua perkaitan gred dan kedudukan kedudukan. Ia tidak menentukan sama ada label perkaitan tidak berat sebelah atau sama ada proses penjanaan calon mengetepikan item berguna. Metrik boleh berubah dengan cutoff k, formula perolehan dan ambang label. Laporkan pilihan ini dan nilaikan merentas set pertanyaan yang sama. Metrik luar talian juga tidak menangkap sepenuhnya kepuasan pengguna, kepelbagaian, kesegaran, berat sebelah pendedahan atau hasil jangka panjang. Gunakannya bersama-sama percubaan dalam talian atau semakan manusia apabila sesuai, sambil mengelakkan dakwaan bahawa skor yang lebih tinggi sahaja membuktikan pengalaman pengguna yang lebih baik.
Senarai hasil carian mempunyai lima item dan dua adalah berkaitan. Ketepatan@5 ialah 2/5, manakala ingat semula@5 bergantung pada bilangan item berkaitan yang wujud dalam set calon penuh.
Seorang pengguna mempunyai tiga item yang berkaitan, dan sistem mendapatkan semula dua dalam lima teratas. Ingat semula@5 ialah 2/3 walaupun ketepatan@5 ialah 2/5; langkah-langkah menjawab soalan yang berbeza.
Untuk perkaitan gred, DCG memberi ganjaran kepada item yang sangat relevan apabila item tersebut muncul berhampiran bahagian atas, menggunakan keuntungan dan diskaun kedudukan logaritma. NDCG membahagikan dengan DCG yang ideal untuk pertanyaan yang sama untuk menormalkan skala.
Pasukan pengesyoran melaporkan MRR apabila hasil pertama yang berkaitan paling penting dan NDCG apabila berbilang item dan perkaitan gred merentas senarai penting.
Laporan kedudukan boleh bertambah baik dengan memaparkan metrik teratas, takrifan perkaitan dan pengedaran setiap pertanyaan berbanding satu nombor agregat. Pasukan harus memilih MAP, MRR atau NDCG berdasarkan sama ada tugas itu menghargai semua hasil yang berkaitan, hasil pertama yang berguna atau kualiti gred sepanjang senarai. Mereka harus mengaudit pertimbangan perkaitan dan pendedahan calon, kerana metrik tidak boleh memberi ganjaran kepada item yang tidak pernah diambil untuk penilaian. Pemeriksaan kepuasan dan kepelbagaian manusia boleh melengkapkan skor luar talian. Apabila objektif pemeringkatan berkembang, kekalkan definisi sejarah yang konsisten supaya perbandingan arah aliran kekal bermakna.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Metrik kedudukan menilai susunan item dan bukannya sama ada label individu adalah betul. Precision@k, recall@k, MAP, MRR dan keuntungan terkumpul terdiskaun ternormal menekankan aspek yang berbeza, jadi pilihan metrik harus sepadan dengan tugas pemeringkatan dan pertimbangan kaitannya.
Precision@k membahagikan hasil yang berkaitan dalam k atas dengan k, jadi 2/5.
Ingat membahagikan item berkaitan yang diambil dengan jumlah set berkaitan: 2/3.
MRR purata kedudukan timbal balik hasil pertama yang berkaitan.
NDCG membandingkan susunan yang diperhatikan dengan susunan yang ideal untuk pertanyaan yang sama.
MRR didorong oleh kedudukan pertama yang berkaitan dan berguna apabila keputusan berguna awal penting.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Menilai Sistem Pencadang: NDCG, Kadar Hit dan Banyak Lagi
Teknikal