Kualitas Pengambilan

Tentukan relevansi dengan tugas yang dimaksudkan. Dokumen tentang suatu produk mungkin terkait secara topikal tetapi gagal menjawab pertanyaan spesifik tentang versi atau tanggal. Beri label contoh bukti yang sepenuhnya mendukung, bukti parsial, dan materi yang tidak relevan. Ukur kumpulan kandidat dan peringkat secara terpisah. Penarikan kembali pada titik potong yang dipilih menanyakan seberapa banyak materi relevan yang diambil; presisi menanyakan seberapa banyak materi yang diambil relevan. Metrik yang sadar peringkat menilai apakah bukti terbaik muncul lebih awal. Nyatakan metode batas dan pelabelan pada setiap skor. Periksa pola kegagalan: pengidentifikasi tepat yang terlewatkan oleh pencarian semantik, sinonim yang terlewat oleh pencarian kata kunci, dokumen-dokumen usang yang diberi peringkat di atas yang sekarang, atau bagian-bagian yang tidak sesuai dengan kualifikasinya. Pengambilan hibrid dan pemeringkatan ulang dapat membantu beberapa kasus, namun harus dievaluasi menggunakan contoh tetap yang sama. Sertakan pembatasan akses dan pertanyaan yang tidak dapat dijawab dalam set pengujian. Suatu sistem tidak boleh meningkatkan relevansi dengan mengembalikan dokumen yang tidak sah. Jika tidak ada bukti yang memadai, ukur apakah aplikasi mengkomunikasikan batasan tersebut dan bukannya menghasilkan jawaban yang tidak didukung.