Kualiti Pendapatan

Tentukan relevansi dengan tugas yang dimaksudkan. Dokumen mengenai produk mungkin berkaitan secara topik tetapi gagal menjawab soalan khusus tentang versi atau tarikh. Label contoh bukti sokongan sepenuhnya, bukti separa, dan bahan yang tidak relevan. Ukur set calon dan kedudukan secara berasingan. Ingat pada had yang dipilih bertanya berapa banyak bahan relevan yang diperoleh; ketepatan bertanya berapa banyak bahan yang diambil relevan. Metrik peka menilai sama ada bukti terbaik muncul awal. Nyatakan had dan kaedah pelabelan dengan setiap skor. Periksa corak kegagalan: pengecam tepat yang terlepas oleh carian semantik, sinonim yang terlepas oleh carian kata kunci, dokumen lapuk yang berada di atas yang semasa, atau petikan yang dipotong dari kelayakannya. Pengambilan dan penarafan semula hibrid boleh membantu beberapa kes, tetapi mesti dinilai berdasarkan contoh tetap yang sama. Sertakan sekatan akses dan pertanyaan yang tidak dapat dijawab dalam set ujian. Sistem tidak sepatutnya memperbaiki relevansi nyata dengan mengembalikan dokumen yang tidak dibenarkan. Apabila tiada bukti mencukupi, ukur sama ada aplikasi menyampaikan had itu dan bukannya menghasilkan jawapan yang tidak disokong.