PANDUAN Teknikal

NDCG dan Metrik Kedudukan

Metrik kedudukan menilai susunan item dan bukannya sama ada label individu adalah betul.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini3 min dibaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan NDCG dan Metrik Kedudukan
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Precision@k, recall@k, MAP, MRR dan keuntungan terkumpul terdiskaun ternormal menekankan aspek yang berbeza, jadi pilihan metrik harus sepadan dengan tugas pemeringkatan dan pertimbangan kaitannya.

Menyelam dalam

Sistem pemeringkatan memesan calon untuk pengguna atau pertanyaan. Penilaian harus mencerminkan di mana hasil yang berkaitan muncul dan bagaimana perkaitan ditakrifkan. Ketepatan pada k ialah pecahan daripada keputusan k teratas yang dinilai relevan. Ingat semula pada k ialah pecahan daripada semua calon yang berkaitan yang diambil dalam k atas. Ketepatan menekankan kualiti set yang dipaparkan; ingat kembali menekankan berapa banyak set yang berkaitan ditemui. Ketepatan purata meringkaskan ketepatan pada kedudukan di mana item yang berkaitan berlaku, dan purata ketepatan purata (MAP) purata yang bernilai merentas pertanyaan. Purata kedudukan timbal balik (MRR) menggunakan timbal balik kedudukan hasil pertama yang berkaitan dan purata merentas pertanyaan. MRR berguna apabila mencari satu keputusan yang baik dengan cepat adalah keutamaan, tetapi ia sebahagian besarnya mengabaikan kualiti peringkat kemudian. Keuntungan kumulatif terdiskaun (DCG) menyokong perkaitan berperingkat. Fungsi keuntungan memberikan nilai yang lebih besar kepada item yang lebih berkaitan, manakala diskaun logaritma mengurangkan kredit untuk item yang lebih rendah dalam senarai. DCG ternormal membahagikan DCG kedudukan dengan DCG yang ideal untuk pertanyaan itu, memberikan skor biasanya antara sifar dan satu apabila definisi diselaraskan. Normalisasi ini menjadikan nilai lebih setanding merentas pertanyaan dengan taburan perkaitan yang berbeza, tetapi pilihan pengagregatan masih penting. Katakan pertanyaan mempunyai satu item yang sangat berkaitan dan satu lagi item yang agak berkaitan. Meletakkan hasil yang sangat relevan dahulu menghasilkan lebih banyak DCG daripada meletakkannya di tempat kedua. NDCG menangkap kedua-dua perkaitan gred dan kedudukan kedudukan. Ia tidak menentukan sama ada label perkaitan tidak berat sebelah atau sama ada proses penjanaan calon mengetepikan item berguna. Metrik boleh berubah dengan cutoff k, formula perolehan dan ambang label. Laporkan pilihan ini dan nilaikan merentas set pertanyaan yang sama. Metrik luar talian juga tidak menangkap sepenuhnya kepuasan pengguna, kepelbagaian, kesegaran, berat sebelah pendedahan atau hasil jangka panjang. Gunakannya bersama-sama percubaan dalam talian atau semakan manusia apabila sesuai, sambil mengelakkan dakwaan bahawa skor yang lebih tinggi sahaja membuktikan pengalaman pengguna yang lebih baik.

Pelaksanaan Dunia Sebenar

Senarai hasil carian mempunyai lima item dan dua adalah berkaitan. Ketepatan@5 ialah 2/5, manakala ingat semula@5 bergantung pada bilangan item berkaitan yang wujud dalam set calon penuh.

Seorang pengguna mempunyai tiga item yang berkaitan, dan sistem mendapatkan semula dua dalam lima teratas. Ingat semula@5 ialah 2/3 walaupun ketepatan@5 ialah 2/5; langkah-langkah menjawab soalan yang berbeza.

Untuk perkaitan gred, DCG memberi ganjaran kepada item yang sangat relevan apabila item tersebut muncul berhampiran bahagian atas, menggunakan keuntungan dan diskaun kedudukan logaritma. NDCG membahagikan dengan DCG yang ideal untuk pertanyaan yang sama untuk menormalkan skala.

Pasukan pengesyoran melaporkan MRR apabila hasil pertama yang berkaitan paling penting dan NDCG apabila berbilang item dan perkaitan gred merentas senarai penting.

Masa Depan NDCG dan Metrik Kedudukan

Laporan kedudukan boleh bertambah baik dengan memaparkan metrik teratas, takrifan perkaitan dan pengedaran setiap pertanyaan berbanding satu nombor agregat. Pasukan harus memilih MAP, MRR atau NDCG berdasarkan sama ada tugas itu menghargai semua hasil yang berkaitan, hasil pertama yang berguna atau kualiti gred sepanjang senarai. Mereka harus mengaudit pertimbangan perkaitan dan pendedahan calon, kerana metrik tidak boleh memberi ganjaran kepada item yang tidak pernah diambil untuk penilaian. Pemeriksaan kepuasan dan kepelbagaian manusia boleh melengkapkan skor luar talian. Apabila objektif pemeringkatan berkembang, kekalkan definisi sejarah yang konsisten supaya perbandingan arah aliran kekal bermakna.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz NDCG dan Metrik Penarafan

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah NDCG dan Metrik Kedudukan?

Metrik kedudukan menilai susunan item dan bukannya sama ada label individu adalah betul. Precision@k, recall@k, MAP, MRR dan keuntungan terkumpul terdiskaun ternormal menekankan aspek yang berbeza, jadi pilihan metrik harus sepadan dengan tugas pemeringkatan dan pertimbangan kaitannya.

Dua item yang berkaitan muncul dalam lima teratas. Apakah ketepatan@5?

Precision@k membahagikan hasil yang berkaitan dalam k atas dengan k, jadi 2/5.

Dua daripada tiga calon yang berkaitan muncul dalam lima teratas. Apakah recall@5?

Ingat membahagikan item berkaitan yang diambil dengan jumlah set berkaitan: 2/3.

Metrik yang manakah menekankan kedudukan hasil pertama yang berkaitan?

MRR purata kedudukan timbal balik hasil pertama yang berkaitan.

Bagaimanakah DCG yang ideal menyumbang kepada DCG yang dinormalisasi?

NDCG membandingkan susunan yang diperhatikan dengan susunan yang ideal untuk pertanyaan yang sama.

Tugas mana yang paling sesuai dengan MRR?

MRR didorong oleh kedudukan pertama yang berkaitan dan berguna apabila keputusan berguna awal penting.