التاليالدليل التالي
الاسترجاع، الدقة واختبار التهرب في مراجعة الوثائق
التقنية
دليل الأساسيات
الدقة والتذكير
الدقة والتذكر هما مقياسان متكاملان لتقييم المصنفات، خاصة عندما تكون الفئات غير متوازنة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
معا يكشفون ما تخفيه الدقة البسيطة — كم مرة تكون توقعات النموذج الإيجابية صحيحة، وكم عدد الإيجابيات الحقيقية التي يلتقطها فعليا.
الغوص العميق
عندما يشير النموذج إلى العناصر على أنها إيجابية، هناك سؤالان مهمان. الدقة تتساءل: من بين كل ما وضعنا علامة عليه، ما هو الجانب الإيجابي حقًا؟ وهو يساوي الإيجابيات الحقيقية مقسومة على جميع الإيجابيات المتوقعة، مما يعاقب الإنذارات الكاذبة. الاستدعاء (الحساسية) يسأل: من بين كل الإيجابيات الحقيقية الموجودة هناك، كم عدد الإيجابيات التي حصلنا عليها؟ وهو يساوي الإيجابيات الحقيقية مقسومة على جميع الإيجابيات الفعلية، مع معاقبة الأخطاء. وعادةً ما تتم المقايضة بين هذه الأمور: يؤدي خفض عتبة القرار إلى الحصول على المزيد من الإيجابيات (استدعاء أعلى) ولكنه يشير إلى المزيد من الرسائل غير المرغوب فيها (دقة أقل)، والعكس صحيح. يعتمد تحديد الأولويات على التكاليف - يفضل مرشح البريد العشوائي الدقة (لا تقم بإلقاء البريد الحقيقي في سلة المهملات)، بينما يفضل فحص السرطان التذكير (لا تفوت أي ورم). درجة F1، ومتوسطها التوافقي، يوازن كليهما في رقم واحد.
التنفيذ في العالم الحقيقي
يتم ضبط مرشحات البريد العشوائي للحصول على دقة عالية بحيث لا يتم إرسال رسائل البريد الإلكتروني المشروعة تقريبًا بشكل خاطئ إلى مجلد البريد العشوائي.
تعطي اختبارات الفحص الطبي الأولوية للاستدعاء العالي لتجنب فقدان المرضى الذين يعانون بالفعل من المرض، وقبول المزيد من النتائج الإيجابية الكاذبة للمتابعة.
تقوم أنظمة البحث والتوصية بالإبلاغ عن الدقة@k (كم عدد نتائج k الأعلى ذات الصلة) لقياس جودة التصنيف.
يوازن اكتشاف الاحتيال بين الدقة والاسترداد من خلال درجة F1، نظرًا لأن الإنذارات الكاذبة والاحتيال المفقود أمر مكلف.
مستقبل الدقة والاستدعاء
مع دخول الذكاء الاصطناعي إلى المجالات عالية المخاطر - التشخيص الطبي، والإشراف على المحتوى، والاحتيال - أبلغت الفرق بشكل متزايد عن الدقة والتذكر (ومنحنياتها) بدلاً من الدقة وحدها، وضبط الحدود لتتناسب مع تكاليف العالم الحقيقي وقيود العدالة. أصبحت عمليات تدقيق الدقة/الاستدعاء لكل مجموعة معيارًا لاكتشاف معدلات الخطأ المتباينة عبر التركيبة السكانية. توقع مقاييس أكثر ثراءً وحساسة للتكلفة، واحتمالات معايرة، وأدوات تتيح لأصحاب المصلحة اختيار نقاط التشغيل بشكل تفاعلي بدلاً من قبول حد افتراضي قدره 0.5.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيثما تساعد الدقة والاستدعاء، وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Precision and Recall quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو الدقة والاستدعاء؟
الدقة والتذكر هما مقياسان متكاملان لتقييم المصنفات، خاصة عندما تكون الفئات غير متوازنة. ويكشفان معًا ما تخفيه الدقة الواضحة، أي عدد المرات التي تكون فيها التنبؤات الإيجابية للنموذج صحيحة، وعدد الإيجابيات الحقيقية التي يلتقطها بالفعل.
الدقة تجيب على أي سؤال؟
الدقة = TP / (TP + FP) تقيس صحة التنبؤات الإيجابية للنموذج - مدى موثوقية العلم الإيجابي.
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع