Abrufqualität

Definieren Sie die Relevanz unter Berücksichtigung der beabsichtigten Aufgabe. Ein Dokument zu einem Produkt hat möglicherweise einen thematischen Bezug, beantwortet jedoch keine spezifische Frage zu einer Version oder einem Datum. Kennzeichnen Sie Beispiele für vollständig unterstützende Beweise, Teilbeweise und irrelevantes Material. Messen Sie die Kandidatenmenge und das Ranking separat. Beim Rückruf an einem gewählten Cutoff wird abgefragt, wie viel relevantes Material abgerufen wurde. Präzision fragt, wie viel des abgerufenen Materials relevant ist. Rangabhängige Metriken beurteilen, ob die beste Evidenz frühzeitig erscheint. Geben Sie bei jeder Bewertung die Cutoff- und Beschriftungsmethode an. Untersuchen Sie Fehlermuster: genaue Bezeichner, die bei der semantischen Suche übersehen wurden, Synonyme, die bei der Stichwortsuche übersehen wurden, veraltete Dokumente, die über den aktuellen rangierten, oder Passagen, die von ihren Qualifikationen abgeschnitten wurden. Hybrides Abrufen und Neuranking können in einigen Fällen hilfreich sein, müssen jedoch anhand derselben festen Beispiele bewertet werden. Beziehen Sie Zugriffsbeschränkungen und unbeantwortbare Abfragen in den Testsatz ein. Ein System sollte die scheinbare Relevanz nicht durch die Rückgabe nicht autorisierter Dokumente verbessern. Wenn keine ausreichenden Beweise vorliegen, messen Sie, ob die Anwendung diese Einschränkung kommuniziert, anstatt eine nicht unterstützte Antwort zu liefern.