دليل الأساسيات
منحنيات ROC وAUC
يرسم منحنى ROC مدى نجاح المصنف في فصل فئتين عبر كل عتبة قرار محتملة، وتقوم AUC بضغط هذا المنحنى بالكامل في رقم واحد.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
Together they tell you ranking quality independent of where you draw the cutoff.
الغوص العميق
يرسم منحنى خاصية تشغيل المستقبِل (ROC) المعدل الإيجابي الحقيقي (الحساسية، على المحور y) مقابل المعدل الإيجابي الكاذب (1 ناقص الخصوصية، على المحور x) بينما تقوم بتحريك عتبة التصنيف من 1 إلى 0. كل عتبة تعطي نقطة واحدة؛ ربطهم يتتبع المنحنى. النموذج الذي يصنف كل إيجابي فوق كل سلبي يقع في الزاوية العلوية اليسرى. تقيس المنطقة أسفل المنحنى (AUC) المساحة الإجمالية أسفل هذا الخط، وتتراوح من 0.5 (تخمين عشوائي، القطر) إلى 1.0 (مثالي). تفسير مفيد: AUC يساوي احتمال أن يسجل النموذج نتيجة إيجابية تم اختيارها عشوائيًا أعلى من النتيجة السلبية التي تم اختيارها عشوائيًا. المصطلح يأتي من مشغلي الرادار في الحرب العالمية الثانية الذين يميزون الإشارة عن الضوضاء.
التنفيذ في العالم الحقيقي
مقارنة نموذجين لكشف الاحتيال لأحد البنوك من خلال المساحة المخصصة للبنك لاختيار النموذج الذي يصنف المعاملات الاحتيالية بشكل أفضل من المعاملات المشروعة
تقييم اختبار تشخيصي لمرض ما (على سبيل المثال، مصنف فحص السرطان) حيث يحتاج أخصائيو الأشعة إلى مقايضة اكتشاف المزيد من الحالات بالإنذارات الكاذبة
ضبط عتبة عامل تصفية البريد العشوائي باستخدام منحنى ROC لإبقاء النتائج الإيجابية الخاطئة (البريد الشرعي الذي تم وضع علامة عليه كبريد عشوائي) منخفضة للغاية
قياس نموذج تسجيل التخلف عن السداد حيث تلخص الجامعة الأمريكية بالقاهرة مدى نجاحها في الفصل بين المقترضين الذين يقومون بالسداد والذين يتخلفون عن السداد
مستقبل منحنيات ROC والجامعة الأمريكية بالقاهرة
يظل ROC-AUC مقياسًا افتراضيًا لإعداد التقارير، لكن الممارسين يربطونه بشكل متزايد بمنحنيات Precision-Recall للبيانات غير المتوازنة بشكل كبير، حيث يمكن أن تبدو ROC متفائلة بشكل مخادع. توقع اعتمادًا أوسع نطاقًا لـ AUC الجزئي (مع التركيز على المنطقة ذات الإيجابية الكاذبة المنخفضة التي تهم من الناحية التشغيلية)، والتحليل الحساس للتكلفة وتحليل منحنى القرار، وإعداد تقارير AUC لكل مجموعة فرعية لتوضيح فجوات العدالة السطحية. نظرًا لأن النماذج تغذي قرارات حقيقية، فسيتم بشكل متزايد الإبلاغ عن مقاييس المعايرة والمساحة تحت المنحنى جنبًا إلى جنب بدلاً من المساحة تحت المنحنى وحدها.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيث تساعد منحنيات ROC وAUC وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the ROC Curves and AUC quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is ROC Curves and AUC?
يرسم منحنى ROC مدى نجاح المصنف في فصل فئتين عبر كل عتبة قرار محتملة، وتقوم AUC بضغط هذا المنحنى بالكامل في رقم واحد. يخبرونك معًا بجودة التصنيف بشكل مستقل عن المكان الذي ترسم فيه الحد الفاصل.
ما الكميتين اللتين يرسمهما منحنى ROC مقابل بعضهما البعض؟
يرسم منحنى ROC المعدل الإيجابي الحقيقي (الحساسية) على المحور y مقابل المعدل الإيجابي الكاذب (1 - الخصوصية) على المحور x عبر العتبات.
ما هي قيمة AUC التي تتوافق مع المصنف الذي لا يؤدي أداءً أفضل من التخمين العشوائي؟
يتتبع المصنف العشوائي الخط القطري، مما يعطي AUC قدره 0.5. تعتبر AUC التي تبلغ 1.0 مثالية، و0.0 تعني أنها تحصل على كل تصنيف بشكل عكسي تمامًا.
لماذا توصف الجامعة الأمريكية بالقاهرة بأنها "مستقلة عن العتبة"؟
يلخص AUC منحنى ROC بأكمله، والذي يتم إنشاؤه عن طريق مسح كل عتبة، لذلك لا يعتمد على أي قطع فردي مختار.
بالنسبة لمجموعة بيانات غير متوازنة بشكل كبير، ما هو المنحنى الذي يوصى به غالبًا بجانب أو بدلاً من ROC لأن ROC يمكن أن يبدو مفرطًا في التفاؤل؟
في المشكلات الإيجابية النادرة، يؤدي العدد الكبير من السلبيات الحقيقية إلى إبقاء المعدل الإيجابي الكاذب منخفضًا، مما يؤدي إلى تضخيم ROC. تركز منحنيات الاستدعاء الدقيق على الفئة الإيجابية وتكشف عن الأداء بشكل أكثر صدقًا.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع