Calidad de recuperación

Defina la relevancia teniendo en cuenta la tarea prevista. Un documento sobre un producto puede estar relacionado con un tema pero no responder a una pregunta específica sobre una versión o fecha. Etiquete ejemplos de evidencia que lo respalde totalmente, evidencia parcial y material irrelevante. Mida el conjunto de candidatos y la clasificación por separado. La recuperación en un límite elegido pregunta cuánto material relevante se recuperó; La precisión pregunta qué parte del material recuperado es relevante. Las métricas basadas en rangos evalúan si la mejor evidencia aparece temprano. Indique el método de corte y etiquetado con cada puntuación. Inspeccione los patrones de error: identificadores exactos omitidos en la búsqueda semántica, sinónimos omitidos en la búsqueda de palabras clave, documentos obsoletos clasificados por encima de los actuales o pasajes eliminados de sus calificaciones. La recuperación y reclasificación híbridas pueden ayudar en algunos casos, pero deben evaluarse con los mismos ejemplos fijos. Incluya restricciones de acceso y consultas sin respuesta en el conjunto de prueba. Un sistema no debería mejorar la relevancia aparente devolviendo documentos no autorizados. Cuando no exista evidencia adecuada, medir si la solicitud comunica esa limitación en lugar de producir una respuesta sin fundamento.