बुनियादी गाइड
आरओसी वक्र और एयूसी
एक आरओसी वक्र प्लॉट करता है कि एक क्लासिफायर प्रत्येक संभावित निर्णय सीमा में दो वर्गों को कितनी अच्छी तरह अलग करता है, और एयूसी उस पूरे वक्र को एक संख्या में संपीड़ित करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Together they tell you ranking quality independent of where you draw the cutoff.
गहरा गोता
जैसे ही आप वर्गीकरण सीमा को 1 से नीचे 0 तक स्लाइड करते हैं, एक रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (आरओसी) वक्र झूठी सकारात्मक दर (एक्स-अक्ष पर 1 शून्य विशिष्टता) के विरुद्ध वास्तविक सकारात्मक दर (वाई-अक्ष पर संवेदनशीलता) को प्लॉट करता है। प्रत्येक सीमा एक बिंदु देती है; उन्हें जोड़ने से वक्र का पता चलता है। एक मॉडल जो हर सकारात्मक को हर नकारात्मक से ऊपर रखता है, ऊपरी-बाएँ कोने को गले लगाता है। वक्र के नीचे का क्षेत्र (एयूसी) इस रेखा के नीचे के कुल क्षेत्रफल को 0.5 (यादृच्छिक अनुमान, विकर्ण) से लेकर 1.0 (पूर्ण) तक मापता है। एक आसान व्याख्या: एयूसी इस संभावना के बराबर है कि मॉडल यादृच्छिक रूप से चुने गए सकारात्मक को यादृच्छिक रूप से चुने गए नकारात्मक से अधिक स्कोर करता है। यह शब्द द्वितीय विश्व युद्ध के रडार ऑपरेटरों से सिग्नल को शोर से अलग करने के लिए लिया गया है।
वास्तविक विश्व कार्यान्वयन
एक बैंक के लिए उनके एयूसी द्वारा दो धोखाधड़ी-पहचान मॉडल की तुलना करना ताकि वह मॉडल चुना जा सके जो वैध लेनदेन से ऊपर धोखाधड़ी वाले लेनदेन को सबसे अच्छी रैंक देता है।
किसी बीमारी के लिए एक नैदानिक परीक्षण का मूल्यांकन करना (उदाहरण के लिए, एक कैंसर स्क्रीनिंग क्लासिफायरियर) जहां रेडियोलॉजिस्ट को झूठे अलार्म के खिलाफ अधिक मामलों को पकड़ने की आवश्यकता होती है
झूठी सकारात्मकता (स्पैम के रूप में चिह्नित वैध मेल) को बहुत कम रखने के लिए आरओसी वक्र का उपयोग करके स्पैम फ़िल्टर की सीमा को ट्यून करना
क्रेडिट-डिफॉल्ट स्कोरिंग मॉडल को बेंचमार्क करना जहां एयूसी सारांशित करता है कि यह भुगतान करने वाले उधारकर्ताओं को डिफ़ॉल्ट करने वालों से कितनी अच्छी तरह अलग करता है
आरओसी कर्व्स और एयूसी का भविष्य
आरओसी-एयूसी एक डिफ़ॉल्ट रिपोर्टिंग मीट्रिक बनी हुई है, लेकिन अभ्यासकर्ता इसे अत्यधिक असंतुलित डेटा के लिए प्रिसिजन-रिकॉल कर्व्स के साथ जोड़ रहे हैं, जहां आरओसी भ्रामक रूप से आशावादी दिख सकता है। आंशिक एयूसी (परिचालन के लिए मायने रखने वाले कम-झूठे-सकारात्मक क्षेत्र पर ध्यान केंद्रित करना), लागत-संवेदनशील और निर्णय-वक्र विश्लेषण, और सतही निष्पक्षता अंतराल पर प्रति-उपसमूह एयूसी रिपोर्टिंग को व्यापक रूप से अपनाने की अपेक्षा करें। जैसे-जैसे मॉडल वास्तविक निर्णयों को फीड करते हैं, अंशांकन मेट्रिक्स और एयूसी अकेले एयूसी के बजाय तेजी से साथ-साथ रिपोर्ट किए जाएंगे।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां आरओसी कर्व्स और एयूसी मदद करते हैं और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the ROC Curves and AUC quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is ROC Curves and AUC?
एक आरओसी वक्र प्लॉट करता है कि एक क्लासिफायर प्रत्येक संभावित निर्णय सीमा में दो वर्गों को कितनी अच्छी तरह अलग करता है, और एयूसी उस पूरे वक्र को एक संख्या में संपीड़ित करता है। साथ में वे आपको रैंकिंग गुणवत्ता बताते हैं, चाहे आप कटऑफ कहां से निकालते हों।
ROC वक्र किन दो राशियों को एक दूसरे के विरुद्ध आलेखित करता है?
एक आरओसी वक्र थ्रेसहोल्ड के पार एक्स-अक्ष पर झूठी सकारात्मक दर (1 - विशिष्टता) के मुकाबले वाई-अक्ष पर वास्तविक सकारात्मक दर (संवेदनशीलता) को प्लॉट करता है।
कौन सा AUC मान उस क्लासिफायरियर से मेल खाता है जो यादृच्छिक अनुमान लगाने से बेहतर प्रदर्शन नहीं करता है?
एक यादृच्छिक क्लासिफायरियर विकर्ण रेखा का पता लगाता है, जो 0.5 का AUC देता है। 1.0 का एयूसी एकदम सही है, और 0.0 का मतलब है कि यह हर रैंकिंग को बिल्कुल पीछे की ओर ले जाता है।
AUC को 'सीमा-स्वतंत्र' के रूप में क्यों वर्णित किया गया है?
एयूसी संपूर्ण आरओसी वक्र का सारांश प्रस्तुत करता है, जो प्रत्येक सीमा को पार करके उत्पन्न होता है, इसलिए यह किसी एक चुने हुए कटऑफ पर निर्भर नहीं करता है।
अत्यधिक असंतुलित डेटासेट के लिए, अक्सर ROC के साथ या उसके स्थान पर किस वक्र की अनुशंसा की जाती है क्योंकि ROC अत्यधिक आशावादी दिख सकती है?
दुर्लभ-सकारात्मक समस्याओं पर बड़ी संख्या में वास्तविक नकारात्मकताएं गलत सकारात्मक दर को कम रखती हैं, जिससे आरओसी बढ़ती है। प्रिसिजन-रिकॉल कर्व्स सकारात्मक वर्ग पर ध्यान केंद्रित करते हैं और प्रदर्शन को अधिक ईमानदारी से प्रकट करते हैं।
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं