الدليل الفني
متوسط الدقة وPR-AUC
يلخص متوسط الدقة دقة النموذج مع زيادة الاستدعاء عبر عتبات القرار.
في هذه الصفحةقراءة لمدة 3 دقائق
نظرة عامة
تكون منحنيات استرجاع الدقة مفيدة عندما تكون الحالات الإيجابية نادرة، ولكن متوسط الدقة والمنطقة شبه المنحرفة أسفل هذا المنحنى هما حسابات مختلفة يجب تسميتها بوضوح.
الغوص العميق
تسأل الدقة عن عدد الحالات المختارة الإيجابية. يسأل برنامج Recall عن عدد الحالات الإيجابية التي تم اختيارها. نظرًا لانخفاض حد نقاط النموذج، يدخل المزيد من الحالات إلى المجموعة المحددة. لا يمكن أن ينخفض معدل الاسترجاع مع انخفاض الحد، ولكن الدقة يمكن أن ترتفع أو تنخفض اعتمادًا على الحالات المضمنة حديثًا. يتتبع منحنى الاسترجاع الدقيق هذه المقايضة. إنها مفيدة بشكل خاص للفئة الإيجابية النادرة لأنها تكشف بشكل مباشر عدد العناصر المحددة التي تعتبر إنذارات كاذبة. يجيب منحنى خاصية تشغيل جهاز الاستقبال على سؤال مختلف باستخدام المعدل الإيجابي الكاذب، الذي يتضمن مقامه جميع السلبيات الفعلية. ولا يزيل أي من وجهتي النظر الحاجة إلى النظر في تكاليف القرار الحقيقية. يلخص متوسط الدقة العلاقة بين الدقة والاستدعاء من خلال ترجيح قيم الدقة بالزيادات المقابلة في الاستدعاء. وفي ترتيب بسيط بدون درجات متعادلة، فإنه يساوي متوسط الدقة في الرتب التي تشغلها الحالات الإيجابية. لنفترض أن الإيجابيتين الوحيدتين تظهران في الأول والثالث. تبلغ الدقة في تلك المواضع ثلثًا وثلثين، لذا يبلغ متوسط الدقة حوالي 0.833. يمكن أن تكون التسمية PR-AUC غامضة. تشير بعض التقارير إلى التكامل شبه المنحرف للدقة مقابل الاستدعاء؛ يستخدمه الآخرون بشكل فضفاض للحصول على دقة متوسطة. يميز Scikit-learn بين درجة الدقة المتوسطة والجامعة الأمريكية، والتي تطبق قاعدة شبه المنحرف. يمكن أن تختلف هذه القيم بسبب اختلاف افتراضات الاستيفاء. اذكر الحساب الفعلي. تعتمد الدقة على مدى انتشار الإيجابيات في مجتمع التقييم. قد لا تصف النتيجة من عينة متوازنة إعداد النشر حيث تكون النتائج الإيجابية نادرة. الإبلاغ عن الكسر الإيجابي وتصميم التقييم. وأخيرًا، لا يحدد الملخص عبر الحدود عتبة التشغيل. فحص الدقة والاستدعاء وعبء العمل عند النقطة التي سيتم فيها استخدام النموذج فعليًا.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل الدقة المتوسطة وPR-AUC
يمكن أن تجعل لوحات معلومات التقييم مقاييس التصنيف أكثر وضوحًا من خلال إظهار الانتشار الإيجابي والحساب الدقيق للمنطقة ونقاط التشغيل العملية بجوار النتيجة الموجزة. قد يهتم فريق المراجعة أكثر بعدد الحالات المفيدة التي تظهر ضمن سعة يومية ثابتة، بينما قد يحتاج فريق آخر إلى الحد الأدنى من الاستدعاء. يسمح الحفاظ على التنبؤات والتسميات بإعادة النظر في هذه الأسئلة دون تغيير النموذج. مع تحول السكان، يجب على الفرق إعادة تقييم المقايضة على البيانات التمثيلية بدلاً من افتراض نتيجة مبكرة متوسطة الدقة تضمن نفس عبء العمل أو الفائدة في المستقبل.
التنفيذ في العالم الحقيقي
تحتوي قائمة انتظار المراجعة على العديد من العناصر العادية وبعض العناصر ذات الصلة. يُظهر منحنى الاسترجاع الدقيق المفاضلة بين العثور على المزيد من العناصر ذات الصلة ومطالبة المراجعين بفحص العناصر غير ذات الصلة.
في ترتيب افتراضي بدون درجات متعادلة، تظهر الحالتان الإيجابيتان في المركز الأول والثالث. تبلغ الدقة في تلك المواضع 1 وثلثين، لذا يبلغ متوسط الدقة حوالي 0.833.
يستخدم الفريق متوسط نقاط الدقة الخاصة بـ scikit-learn في التصنيفات ونتائج التنبؤ. فهو يسجل الفصل الذي يعتبر إيجابيًا ويتجنب استبدال الدرجات بقرارات صعبة قبل التقييم.
تحتوي مجموعتا بيانات التقييم على نسب مختلفة من الحالات الإيجابية. يقوم المحلل بالإبلاغ عن هذه النسب قبل مقارنة نتائج الاسترجاع الدقيق، حيث أن الانتشار يغير كيفية تفسير الدقة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Average Precision and PR-AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الأسئلة المتداولة
ما هو متوسط الدقة وPR-AUC؟
يلخص متوسط الدقة دقة النموذج مع زيادة الاستدعاء عبر عتبات القرار. تكون منحنيات استرجاع الدقة مفيدة عندما تكون الحالات الإيجابية نادرة، ولكن متوسط الدقة والمنطقة شبه المنحرفة أسفل هذا المنحنى هما حسابات مختلفة يجب تسميتها بوضوح.
ما هي الكمية التي يتم قياسها بدقة لقائمة انتظار المراجعة المحددة؟
الدقة تقيس نقاء المجموعة المختارة؛ يقيس الاستدعاء حصة جميع الإيجابيات التي تم العثور عليها.
في الترتيب الذي لا يحتوي على درجات متعادلة، الإيجابيات الوحيدة هي الأولى والثالثة. ما متوسط الدقة الذي يتبع؟
الدقة هي واحدة عند الإيجابية الأولى والثلثين عند الثانية. متوسطهم هو خمسة أسداس، أي حوالي 0.833.
لماذا يمكن أن يختلف PR-AUC شبه المنحرف عن الدقة المتوسطة؟
متوسط الدقة يزن الدقة عن طريق زيادات الاستدعاء، في حين أن التكامل شبه المنحرف يربط نقاط المنحنى باستخدام بناء منطقة مختلف.
ما هي المدخلات التي تحافظ على معلومات التصنيف اللازمة للحصول على دقة متوسطة؟
تسمح النتائج بالتقييم عبر العتبات. تحتفظ القرارات الصعبة بنقطة تشغيل واحدة فقط وتتجاهل معظم معلومات التصنيف.
هناك مجموعتان من البيانات لهما انتشار مختلف تمامًا للفئة الإيجابية. ما الذي يجب أن يصاحب المقارنة بين نتائج دقة الاستدعاء؟
تعتمد الدقة على انتشار الطبقة، وبالتالي فإن السكان وخطط أخذ العينات هي السياق الضروري.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع