منحنيات ROC وAUC
يرسم منحنى ROC مدى نجاح المصنف في فصل فئتين عبر كل عتبة قرار محتملة، وتقوم AUC بضغط هذا المنحنى بالكامل في رقم واحد.
نظرة عامة
Together they tell you ranking quality independent of where you draw the cutoff.
الغوص العميق
يرسم منحنى خاصية تشغيل المستقبِل (ROC) المعدل الإيجابي الحقيقي (الحساسية، على المحور y) مقابل المعدل الإيجابي الكاذب (1 ناقص الخصوصية، على المحور x) بينما تقوم بتحريك عتبة التصنيف من 1 إلى 0. كل عتبة تعطي نقطة واحدة؛ ربطهم يتتبع المنحنى. النموذج الذي يصنف كل إيجابي فوق كل سلبي يقع في الزاوية العلوية اليسرى. تقيس المنطقة أسفل المنحنى (AUC) المساحة الإجمالية أسفل هذا الخط، وتتراوح من 0.5 (تخمين عشوائي، القطر) إلى 1.0 (مثالي). تفسير مفيد: AUC يساوي احتمال أن يسجل النموذج نتيجة إيجابية تم اختيارها عشوائيًا أعلى من النتيجة السلبية التي تم اختيارها عشوائيًا. المصطلح يأتي من مشغلي الرادار في الحرب العالمية الثانية الذين يميزون الإشارة عن الضوضاء.
البصيرة الفنية
تعتبر AUC مستقلة عن العتبة لأنها تدمج الأداء في جميع عمليات القطع، لذا فهي لا تتأثر بالمكان الذي تحدد فيه حدود القرار. وهو يعادل رياضيًا إحصائية مان ويتني يو واختبار مجموع رتب ويلكوكسون، مما يعني أنه يعتمد فقط على ترتيب رتب الدرجات المتوقعة، وليس قيمها المطلقة. وهذا يجعله مستقرًا في ظل تحويلات الدرجات الرتيبة ولكنه أيضًا غير حساس للمعايرة: لا يزال من الممكن أن يسجل النموذج ذو التصنيف الجيد ولكن المعايرة بشكل سيئ درجة AUC عالية.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل منحنيات ROC والجامعة الأمريكية بالقاهرة
يظل ROC-AUC مقياسًا افتراضيًا لإعداد التقارير، لكن الممارسين يربطونه بشكل متزايد بمنحنيات Precision-Recall للبيانات غير المتوازنة بشكل كبير، حيث يمكن أن تبدو ROC متفائلة بشكل مخادع. توقع اعتمادًا أوسع نطاقًا لـ AUC الجزئي (مع التركيز على المنطقة ذات الإيجابية الكاذبة المنخفضة التي تهم من الناحية التشغيلية)، والتحليل الحساس للتكلفة وتحليل منحنى القرار، وإعداد تقارير AUC لكل مجموعة فرعية لتوضيح فجوات العدالة السطحية. نظرًا لأن النماذج تغذي قرارات حقيقية، فسيتم بشكل متزايد الإبلاغ عن مقاييس المعايرة والمساحة تحت المنحنى جنبًا إلى جنب بدلاً من المساحة تحت المنحنى وحدها.
التنفيذ في العالم الحقيقي
مقارنة نموذجين لكشف الاحتيال لأحد البنوك من خلال المساحة المخصصة للبنك لاختيار النموذج الذي يصنف المعاملات الاحتيالية بشكل أفضل من المعاملات المشروعة
تقييم اختبار تشخيصي لمرض ما (على سبيل المثال، مصنف فحص السرطان) حيث يحتاج أخصائيو الأشعة إلى مقايضة اكتشاف المزيد من الحالات بالإنذارات الكاذبة
ضبط عتبة عامل تصفية البريد العشوائي باستخدام منحنى ROC لإبقاء النتائج الإيجابية الخاطئة (البريد الشرعي الذي تم وضع علامة عليه كبريد عشوائي) منخفضة للغاية
قياس نموذج تسجيل التخلف عن السداد حيث تلخص الجامعة الأمريكية بالقاهرة مدى نجاحها في الفصل بين المقترضين الذين يقومون بالسداد والذين يتخلفون عن السداد
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث تساعد منحنيات ROC وAUC وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROC Curves and AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
مقايضة التحيز والتباين
الأسئلة المتداولة
What is ROC Curves and AUC?
يرسم منحنى ROC مدى نجاح المصنف في فصل فئتين عبر كل عتبة قرار محتملة، وتقوم AUC بضغط هذا المنحنى بالكامل في رقم واحد. يخبرونك معًا بجودة التصنيف بشكل مستقل عن المكان الذي ترسم فيه الحد الفاصل.
ما الكميتين اللتين يرسمهما منحنى ROC مقابل بعضهما البعض؟
يرسم منحنى ROC المعدل الإيجابي الحقيقي (الحساسية) على المحور y مقابل المعدل الإيجابي الكاذب (1 - الخصوصية) على المحور x عبر العتبات.
ما هي قيمة AUC التي تتوافق مع المصنف الذي لا يؤدي أداءً أفضل من التخمين العشوائي؟
يتتبع المصنف العشوائي الخط القطري، مما يعطي AUC قدره 0.5. تعتبر AUC التي تبلغ 1.0 مثالية، و0.0 تعني أنها تحصل على كل تصنيف بشكل عكسي تمامًا.
لماذا توصف الجامعة الأمريكية بالقاهرة بأنها "مستقلة عن العتبة"؟
يلخص AUC منحنى ROC بأكمله، والذي يتم إنشاؤه عن طريق مسح كل عتبة، لذلك لا يعتمد على أي قطع فردي مختار.
بالنسبة لمجموعة بيانات غير متوازنة بشكل كبير، ما هو المنحنى الذي يوصى به غالبًا بجانب أو بدلاً من ROC لأن ROC يمكن أن يبدو مفرطًا في التفاؤل؟
في المشكلات الإيجابية النادرة، يؤدي العدد الكبير من السلبيات الحقيقية إلى إبقاء المعدل الإيجابي الكاذب منخفضًا، مما يؤدي إلى تضخيم ROC. تركز منحنيات الاستدعاء الدقيق على الفئة الإيجابية وتكشف عن الأداء بشكل أكثر صدقًا.