Kualiti Pendapatan

Relevansi, liputan, kesegaran, dan kebenaran semuanya penting. Skor persamaan yang tinggi sahaja tidak membuktikan bahawa petikan menjawab soalan.

Pengambilan utama

• Tentukan relevansi untuk soalan yang sedang dijawab.
• Laporkan had dan peraturan pelabelan.
• Ujian kesegaran, kebenaran, dan bukti yang hilang.

Tentukan relevansi dengan tugas yang dimaksudkan. Dokumen mengenai produk mungkin berkaitan secara topik tetapi gagal menjawab soalan khusus tentang versi atau tarikh. Label contoh bukti sokongan sepenuhnya, bukti separa, dan bahan yang tidak relevan. Ukur set calon dan kedudukan secara berasingan. Ingat pada had yang dipilih bertanya berapa banyak bahan relevan yang diperoleh; ketepatan bertanya berapa banyak bahan yang diambil relevan. Metrik peka menilai sama ada bukti terbaik muncul awal. Nyatakan had dan kaedah pelabelan dengan setiap skor. Periksa corak kegagalan: pengecam tepat yang terlepas oleh carian semantik, sinonim yang terlepas oleh carian kata kunci, dokumen lapuk yang berada di atas yang semasa, atau petikan yang dipotong dari kelayakannya. Pengambilan dan penarafan semula hibrid boleh membantu beberapa kes, tetapi mesti dinilai berdasarkan contoh tetap yang sama. Sertakan sekatan akses dan pertanyaan yang tidak dapat dijawab dalam set ujian. Sistem tidak sepatutnya memperbaiki relevansi nyata dengan mengembalikan dokumen yang tidak dibenarkan. Apabila tiada bukti mencukupi, ukur sama ada aplikasi menyampaikan had itu dan bukannya menghasilkan jawapan yang tidak disokong.

1. Dalam koleksi yang dibina, empat petikan menjawab satu soalan. Carian mengembalikan lima petikan, di mana tiga daripadanya berkaitan.
2. Ketepatan pada lima adalah 3/5 = 60%; ingatan pada lima adalah 3/4 = 75%.
3. Periksa bahagian relevan yang hilang dan dua keputusan yang tidak relevan sebelum memilih perubahan penalaan.

Kiraan yang dicipta ini menunjukkan dua sifat pengambilan yang berbeza; kedua-duanya sahaja tidak mengukur ketepatan jawapan akhir.