جودة الاسترجاع

الملاءمة والتغطية والنضارة والتفويض كلها أمور مهمة. إن درجة التشابه العالية وحدها لا تثبت أن المقطع يجيب على السؤال.

النقاط الرئيسية

• تحديد مدى ملاءمة السؤال الذي تتم الإجابة عليه.
• الإبلاغ عن القطع وقواعد وضع العلامات.
• اختبار الحداثة والأذونات والأدلة المفقودة.

تحديد مدى الصلة بالمهمة المقصودة في الاعتبار. قد يكون المستند الخاص بمنتج ما مرتبطًا بالموضوع ولكنه يفشل في الإجابة على سؤال محدد حول الإصدار أو التاريخ. قم بتسمية أمثلة على الأدلة الداعمة بالكامل والأدلة الجزئية والمواد غير ذات الصلة. قم بقياس مجموعة المرشحين وتصنيفهم بشكل منفصل. يستفسر الاستدعاء عند القطع المختار عن كمية المواد ذات الصلة التي تم استرجاعها؛ تسأل الدقة عن مقدار المواد المستردة ذات الصلة. تعمل المقاييس المدركة للرتبة على تقييم ما إذا كان أفضل دليل يظهر مبكرًا. اذكر طريقة القطع ووضع العلامات مع كل نتيجة. فحص أنماط الفشل: المعرفات الدقيقة التي فاتتها عملية البحث الدلالي، أو المرادفات التي فاتتها عملية البحث عن الكلمات الرئيسية، أو المستندات القديمة التي تم تصنيفها أعلى من المستندات الحالية، أو المقاطع المقطوعة من مؤهلاتها. يمكن أن يساعد الاسترجاع المختلط وإعادة الترتيب في بعض الحالات، ولكن يجب تقييمه على نفس الأمثلة الثابتة. قم بتضمين قيود الوصول والاستعلامات غير القابلة للإجابة في مجموعة الاختبار. لا ينبغي للنظام تحسين الملاءمة الواضحة من خلال إعادة المستندات غير المصرح بها. في حالة عدم وجود أدلة كافية، قم بقياس ما إذا كان التطبيق ينقل هذا القيد بدلاً من تقديم إجابة غير مدعومة.

1. في المجموعة المبنية، أربعة فقرات تجيب على سؤال. البحث يعرض خمسة فقرات، ثلاثة منها ذات صلة.
2. الدقة عند الرقم خمسة هي 3/5 = 60%؛ الاستدعاء عند الخامسة هو 3/4 = 75%.
3. افحص المقطع ذي الصلة المفقود والنتيجتين غير ذي الصلة قبل اختيار تغيير الضبط.

تظهر هذه التعدادات المخترعة خاصيتين مختلفتين للاسترجاع؛ ولا يقيس أي منهما صحة الإجابة النهائية.