Qualidade de recuperação

Defina a relevância com a tarefa pretendida em mente. Um documento sobre um produto pode estar relacionado ao tópico, mas não consegue responder a uma pergunta específica sobre uma versão ou data. Rotule exemplos de evidências de apoio completo, evidências parciais e material irrelevante. Meça o conjunto de candidatos e a classificação separadamente. Recall em um ponto de corte escolhido pergunta quanto material relevante foi recuperado; a precisão pergunta quanto do material recuperado é relevante. As métricas com reconhecimento de classificação avaliam se a melhor evidência aparece precocemente. Indique o método de corte e rotulagem com cada pontuação. Inspecione padrões de falha: identificadores exatos perdidos na pesquisa semântica, sinônimos perdidos na pesquisa por palavras-chave, documentos desatualizados classificados acima dos atuais ou passagens cortadas de suas qualificações. A recuperação e reclassificação híbridas podem ajudar em alguns casos, mas devem ser avaliadas nos mesmos exemplos fixos. Inclua restrições de acesso e consultas sem resposta no conjunto de testes. Um sistema não deve melhorar a relevância aparente devolvendo documentos não autorizados. Quando não existirem provas adequadas, avalie se a aplicação comunica essa limitação em vez de produzir uma resposta sem suporte.