तकनीकी गाइड

औसत परिशुद्धता और पीआर-एयूसी

औसत परिशुद्धता एक मॉडल की परिशुद्धता को सारांशित करती है क्योंकि निर्णय सीमा के पार रिकॉल बढ़ता है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर3 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. औसत परिशुद्धता और पीआर-एयूसी का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

सकारात्मक मामले दुर्लभ होने पर परिशुद्धता-रिकॉल वक्र उपयोगी होते हैं, लेकिन औसत परिशुद्धता और उस वक्र के नीचे एक समलम्बाकार क्षेत्र अलग-अलग गणनाएं हैं जिन्हें स्पष्ट रूप से नामित किया जाना चाहिए।

गहरा गोता

प्रिसिजन पूछता है कि कितने चयनित मामले सकारात्मक हैं। रिकॉल पूछता है कि सभी सकारात्मक मामलों में से कितने का चयन किया गया है। जैसे ही किसी मॉडल की स्कोर सीमा कम होती है, अधिक मामले चयनित सेट में प्रवेश करते हैं। सीमा कम होने पर रिकॉल कम नहीं हो सकता है, लेकिन नए शामिल किए गए मामलों के आधार पर सटीकता बढ़ या घट सकती है। एक सटीक-रिकॉल वक्र इस ट्रेडऑफ़ का पता लगाता है। यह दुर्लभ सकारात्मक वर्ग के लिए विशेष रूप से जानकारीपूर्ण है क्योंकि यह सीधे उजागर करता है कि कितने चयनित आइटम गलत अलार्म हैं। एक रिसीवर ऑपरेटिंग विशेषता वक्र झूठी-सकारात्मक दर का उपयोग करके एक अलग प्रश्न का उत्तर देता है, जिसके हर में सभी वास्तविक नकारात्मक शामिल होते हैं। कोई भी दृष्टिकोण वास्तविक निर्णय लागतों पर विचार करने की आवश्यकता को दूर नहीं करता है। औसत परिशुद्धता, रिकॉल में संगत वृद्धि द्वारा सटीक मानों को भारित करके परिशुद्धता-रिकॉल संबंध को सारांशित करती है। बंधे हुए अंकों के बिना एक साधारण रैंकिंग में, यह सकारात्मक मामलों के कब्जे वाले रैंक पर औसत सटीकता के बराबर है। मान लीजिए कि केवल दो सकारात्मकताएँ पहली और तीसरी दिखाई देती हैं। उन स्थितियों में सटीकता एक और दो-तिहाई है, इसलिए औसत सटीकता लगभग 0.833 है। पीआर-एयूसी लेबल अस्पष्ट हो सकता है। कुछ रिपोर्टों का अर्थ है रिकॉल के विरुद्ध परिशुद्धता का समलम्बाकार एकीकरण; अन्य लोग औसत परिशुद्धता के लिए इसका शिथिल रूप से उपयोग करते हैं। स्किकिट-लर्न औसत_प्रिसिजन_स्कोर को एयूसी से अलग करता है, जो ट्रैपेज़ॉइडल नियम लागू करता है। ये मान भिन्न हो सकते हैं क्योंकि प्रक्षेप धारणाएँ भिन्न होती हैं। वास्तविक गणना बताएं. सटीकता मूल्यांकन आबादी में सकारात्मकता की व्यापकता पर निर्भर करती है। एक संतुलित नमूने का स्कोर एक तैनाती सेटिंग का वर्णन नहीं कर सकता है जहां सकारात्मकता दुर्लभ है। सकारात्मक अंश और मूल्यांकन डिज़ाइन की रिपोर्ट करें। अंत में, सभी सीमाओं का सारांश किसी ऑपरेटिंग सीमा का चयन नहीं करता है। उस बिंदु पर सटीकता, रिकॉल और कार्यभार का निरीक्षण करें जहां मॉडल का वास्तव में उपयोग किया जाएगा।

वास्तविक विश्व कार्यान्वयन

एक समीक्षा कतार में कई सामान्य आइटम और कुछ प्रासंगिक आइटम होते हैं। एक सटीक-रिकॉल वक्र अधिक प्रासंगिक वस्तुओं को खोजने और समीक्षकों को अधिक अप्रासंगिक वस्तुओं का निरीक्षण करने के लिए कहने के बीच व्यापार को दर्शाता है।

बिना किसी समान स्कोर वाली एक काल्पनिक रैंकिंग में, दो सकारात्मक मामले पहले और तीसरे स्थान पर आते हैं। उन पदों पर परिशुद्धता 1 और दो-तिहाई है, इसलिए औसत परिशुद्धता लगभग 0.833 है।

एक टीम लेबल और भविष्यवाणी स्कोर पर स्किकिट-लर्न के औसत_प्रिसिजन_स्कोर का उपयोग करती है। यह रिकॉर्ड करता है कि कौन सा वर्ग सकारात्मक के रूप में गिना जाता है और मूल्यांकन से पहले कठिन निर्णयों के साथ अंकों को बदलने से बचता है।

दो मूल्यांकन डेटासेट में सकारात्मक मामलों के अलग-अलग अनुपात हैं। एक विश्लेषक परिशुद्धता-रिकॉल परिणामों की तुलना करने से पहले उन अनुपातों की रिपोर्ट करता है, क्योंकि व्यापकता यह बदलती है कि परिशुद्धता की व्याख्या कैसे की जानी चाहिए।

औसत परिशुद्धता और पीआर-एयूसी का भविष्य

मूल्यांकन डैशबोर्ड सारांश स्कोर के आगे सकारात्मक व्यापकता, सटीक क्षेत्र गणना और व्यावहारिक संचालन बिंदु दिखाकर रैंकिंग मेट्रिक्स को स्पष्ट कर सकते हैं। एक समीक्षा टीम इस बात की सबसे अधिक परवाह कर सकती है कि एक निश्चित दैनिक क्षमता के भीतर कितने उपयोगी मामले सामने आते हैं, जबकि दूसरी टीम को न्यूनतम रिकॉल की आवश्यकता हो सकती है। भविष्यवाणियों और लेबलों को संरक्षित करने से मॉडल को बदले बिना उन प्रश्नों पर दोबारा गौर किया जा सकता है। जैसे-जैसे आबादी बदलती है, टीमों को प्रतिनिधि डेटा पर ट्रेडऑफ़ का पुनर्मूल्यांकन करना चाहिए, बजाय यह मानने के कि पहले का औसत-सटीक परिणाम समान भविष्य के कार्यभार या उपयोगिता की गारंटी देता है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

Take the Average Precision and PR-AUC quiz

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

औसत परिशुद्धता और पीआर-एयूसी क्या है?

औसत परिशुद्धता एक मॉडल की परिशुद्धता को सारांशित करती है क्योंकि निर्णय सीमा के पार रिकॉल बढ़ता है। सकारात्मक मामले दुर्लभ होने पर परिशुद्धता-रिकॉल वक्र उपयोगी होते हैं, लेकिन औसत परिशुद्धता और उस वक्र के नीचे एक समलम्बाकार क्षेत्र अलग-अलग गणनाएं हैं जिन्हें स्पष्ट रूप से नामित किया जाना चाहिए।

चयनित समीक्षा कतार के लिए परिशुद्धता किस मात्रा को मापती है?

परिशुद्धता चयनित सेट की शुद्धता को मापती है; रिकॉल उन सभी सकारात्मकताओं की हिस्सेदारी को मापता है जो पाई गईं।

बिना समान स्कोर वाली रैंकिंग में, एकमात्र सकारात्मकता पहला और तीसरा स्थान है। कौन सी औसत परिशुद्धता अनुसरण करती है?

परिशुद्धता पहले सकारात्मक में एक है और दूसरे में दो-तिहाई है। उनका औसत पाँच-छठा है, लगभग 0.833।

ट्रैपेज़ॉइडल पीआर-एयूसी औसत परिशुद्धता से भिन्न क्यों हो सकता है?

औसत परिशुद्धता रिकॉल वृद्धि द्वारा सटीक वजन करती है, जबकि ट्रैपेज़ॉइडल एकीकरण एक अलग क्षेत्र निर्माण का उपयोग करके वक्र बिंदुओं को जोड़ता है।

कौन से इनपुट औसत परिशुद्धता के लिए आवश्यक रैंकिंग जानकारी को संरक्षित करते हैं?

स्कोर विभिन्न सीमाओं के पार मूल्यांकन की अनुमति देते हैं। कठोर निर्णय केवल एक ऑपरेटिंग बिंदु को बरकरार रखते हैं और अधिकांश रैंकिंग जानकारी को हटा देते हैं।

दो डेटासेट में बहुत भिन्न सकारात्मक-श्रेणी की व्यापकता है। उनके सटीक-रिकॉल स्कोर की तुलना के साथ क्या होना चाहिए?

परिशुद्धता वर्ग व्यापकता पर निर्भर करती है, इसलिए जनसंख्या और नमूनाकरण योजनाएँ आवश्यक संदर्भ हैं।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →