بنیادی اصول گائیڈ
ROC منحنی خطوط اور AUC
ایک ROC وکر یہ بتاتا ہے کہ ایک درجہ بندی کرنے والا ہر ممکنہ فیصلے کی حد میں دو کلاسوں کو کتنی اچھی طرح سے الگ کرتا ہے، اور AUC اس پورے وکر کو ایک نمبر میں کمپریس کرتا ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
Together they tell you ranking quality independent of where you draw the cutoff.
گہرا غوطہ
ایک وصول کنندہ آپریٹنگ کریکٹرسٹک (ROC) وکر صحیح مثبت شرح (حساسیت، y-axis پر) کو غلط مثبت شرح (1 مائنس مخصوصیت، x-axis پر) کے خلاف پلاٹ کرتا ہے جب آپ درجہ بندی کی حد کو 1 سے نیچے 0 تک سلائیڈ کرتے ہیں۔ ہر حد ایک پوائنٹ دیتی ہے۔ ان کو جوڑنے سے وکر کا پتہ چلتا ہے۔ ایک ایسا ماڈل جو ہر مثبت کو ہر منفی سے اوپر رکھتا ہے اوپری بائیں کونے کو گلے لگاتا ہے۔ وکر کے نیچے کا رقبہ (AUC) اس لائن کے نیچے کل رقبہ کی پیمائش کرتا ہے، جس میں 0.5 (بے ترتیب اندازہ لگانا، اخترن) سے لے کر 1.0 (کامل) تک ہوتا ہے۔ ایک آسان تشریح: AUC اس امکان کے برابر ہے کہ ماڈل تصادفی طور پر منتخب کردہ مثبت کو تصادفی طور پر منتخب کردہ منفی سے زیادہ اسکور کرتا ہے۔ یہ اصطلاح دوسری جنگ عظیم کے ریڈار آپریٹرز سے آتی ہے جو سگنل کو شور سے ممتاز کرتے ہیں۔
حقیقی دنیا کا نفاذ
دھوکہ دہی کا پتہ لگانے والے دو ماڈلز کا ان کے AUC کے ذریعے موازنہ کرنا تاکہ وہ ایک منتخب کریں جو دھوکہ دہی کے لین دین کو جائز لین دین سے بہتر درجہ دیتا ہے۔
کسی بیماری کے لیے تشخیصی ٹیسٹ کا جائزہ لینا (مثلاً، کینسر کی اسکریننگ کا درجہ بندی کرنے والا) جہاں ریڈیولوجسٹ کو جھوٹے الارم کے خلاف مزید کیسز پکڑنے کے لیے تجارت کرنے کی ضرورت ہوتی ہے۔
غلط مثبتات (جائز میل کو اسپام کے طور پر جھنڈا لگا ہوا ہے) کو بہت کم رکھنے کے لیے ROC وکر کا استعمال کرتے ہوئے اسپام فلٹر کی حد کو ٹیون کرنا
کریڈٹ ڈیفالٹ اسکورنگ ماڈل کو بینچ مارک کرنا جہاں AUC خلاصہ کرتا ہے کہ یہ قرض لینے والوں کو ڈیفالٹ کرنے والوں سے کتنی اچھی طرح سے الگ کرتا ہے
آر او سی کروز اور اے یو سی کا مستقبل
ROC-AUC ایک ڈیفالٹ رپورٹنگ میٹرک بنی ہوئی ہے، لیکن پریکٹیشنرز اسے زیادہ سے زیادہ غیر متوازن ڈیٹا کے لیے Precision-Recall curves کے ساتھ جوڑتے ہیں، جہاں ROC دھوکہ دہی سے پر امید نظر آ سکتا ہے۔ جزوی AUC (کم غلط-مثبت خطے پر توجہ مرکوز کرتے ہوئے جو آپریشنل طور پر اہمیت رکھتا ہے) کے وسیع تر اختیار کی توقع کریں، لاگت کے لحاظ سے حساس اور فیصلہ کن وکر کا تجزیہ، اور فی ذیلی گروپ AUC کی سطح پر شفافیت کے فرق کی رپورٹنگ کریں۔ جیسا کہ ماڈلز حقیقی فیصلوں کو فیڈ کرتے ہیں، کیلیبریشن میٹرکس اور AUC اکیلے AUC کے بجائے ساتھ ساتھ رپورٹ کیے جائیں گے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- واضح فیصلے. یہ آپ کو مارکیٹنگ کی زبان سے واضح تکنیکی دعووں کو الگ کرنے میں مدد کرتا ہے۔
- لاگت اور بجٹ. آپ پیسہ یا وقت خرچ کرنے سے پہلے بہتر نفاذ کے سوالات پوچھ سکتے ہیں۔
- ٹیم اور ورک فلو. مشترکہ تفہیم کے ساتھ ٹیمیں بہتر پروڈکٹ، پالیسی اور سیکھنے کے فیصلے کرتی ہیں۔
پر نگاہ رکھیں
- مختلف ٹیمیں ایک ہی اصطلاح کو مختلف طریقے سے استعمال کر سکتی ہیں، اس لیے دائرہ کار کی جلد وضاحت کریں۔
- بینچ مارکس مضبوط نظر آسکتے ہیں جبکہ حقیقی دنیا کی کارکردگی ناہموار ہے۔
- ڈیٹا کے معیار اور تشخیص کے منصوبوں کو نظر انداز کرنا اکثر نازک نتائج پیدا کرتا ہے۔
اگلے اقدامات
- آپ کو مطلوبہ نتائج کی سادہ زبان کی تعریف کے ساتھ شروع کریں۔
- جانچ کرنے سے پہلے ایک کامیابی میٹرک اور ایک ناکامی کی شرط منتخب کریں۔
- نمائندہ ڈیٹا کے ساتھ ایک چھوٹا پائلٹ چلائیں، نہ کہ پالش شدہ ڈیمو سیٹ۔
- دستاویز جہاں ROC Curves اور AUC مدد کرتے ہیں اور جہاں آسان طریقے بہتر ہیں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the ROC Curves and AUC quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
What is ROC Curves and AUC?
ایک ROC وکر یہ بتاتا ہے کہ ایک درجہ بندی کرنے والا ہر ممکنہ فیصلے کی حد میں دو کلاسوں کو کتنی اچھی طرح سے الگ کرتا ہے، اور AUC اس پورے وکر کو ایک نمبر میں کمپریس کرتا ہے۔ وہ مل کر آپ کو درجہ بندی کا معیار بتاتے ہیں جہاں سے آپ کٹ آف کرتے ہیں۔
ایک ROC وکر کونسی دو مقداریں ایک دوسرے کے خلاف پلاٹ کرتی ہیں؟
ایک ROC منحنی درست مثبت شرح (حساسیت) کو y-axis پر False Positive Rate (1 - specificity) کے خلاف x-axis پر دہلیز کے پار پلاٹ کرتا ہے۔
کون سی AUC قدر ایک درجہ بندی سے مطابقت رکھتی ہے جو بے ترتیب اندازے سے بہتر کارکردگی نہیں دکھاتا؟
ایک بے ترتیب درجہ بندی 0.5 کی AUC دے کر، اخترن لائن کا پتہ لگاتا ہے۔ 1.0 کا AUC کامل ہے، اور 0.0 کا مطلب ہے کہ یہ ہر درجہ بندی کو بالکل پیچھے کی طرف لے جاتا ہے۔
AUC کو 'دہلی سے آزاد' کیوں بیان کیا گیا ہے؟
AUC پورے ROC منحنی خطوط کا خلاصہ کرتا ہے، جو ہر حد کو صاف کرنے سے پیدا ہوتا ہے، لہذا یہ کسی ایک منتخب کٹ آف پر منحصر نہیں ہے۔
بھاری عدم توازن والے ڈیٹاسیٹ کے لیے، اکثر ROC کے ساتھ یا اس کے بجائے کون سا وکر تجویز کیا جاتا ہے کیونکہ ROC حد سے زیادہ پر امید نظر آ سکتا ہے؟
نایاب-مثبت مسائل پر حقیقی منفی کی بڑی تعداد جھوٹی مثبت شرح کو کم رکھتی ہے، ROC کو بڑھاتی ہے۔ Precision-Recall curves مثبت کلاس پر فوکس کرتے ہیں اور کارکردگی کو زیادہ ایمانداری سے ظاہر کرتے ہیں۔
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔