आगेअगली गाइड
दस्तावेज़ समीक्षा में स्मरण, परिशुद्धता और मायावी परीक्षण
तकनीकी
तकनीकी गाइड
औसत परिशुद्धता एक मॉडल की परिशुद्धता को सारांशित करती है क्योंकि निर्णय सीमा के पार रिकॉल बढ़ता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
सकारात्मक मामले दुर्लभ होने पर परिशुद्धता-रिकॉल वक्र उपयोगी होते हैं, लेकिन औसत परिशुद्धता और उस वक्र के नीचे एक समलम्बाकार क्षेत्र अलग-अलग गणनाएं हैं जिन्हें स्पष्ट रूप से नामित किया जाना चाहिए।
प्रिसिजन पूछता है कि कितने चयनित मामले सकारात्मक हैं। रिकॉल पूछता है कि सभी सकारात्मक मामलों में से कितने का चयन किया गया है। जैसे ही किसी मॉडल की स्कोर सीमा कम होती है, अधिक मामले चयनित सेट में प्रवेश करते हैं। सीमा कम होने पर रिकॉल कम नहीं हो सकता है, लेकिन नए शामिल किए गए मामलों के आधार पर सटीकता बढ़ या घट सकती है। एक सटीक-रिकॉल वक्र इस ट्रेडऑफ़ का पता लगाता है। यह दुर्लभ सकारात्मक वर्ग के लिए विशेष रूप से जानकारीपूर्ण है क्योंकि यह सीधे उजागर करता है कि कितने चयनित आइटम गलत अलार्म हैं। एक रिसीवर ऑपरेटिंग विशेषता वक्र झूठी-सकारात्मक दर का उपयोग करके एक अलग प्रश्न का उत्तर देता है, जिसके हर में सभी वास्तविक नकारात्मक शामिल होते हैं। कोई भी दृष्टिकोण वास्तविक निर्णय लागतों पर विचार करने की आवश्यकता को दूर नहीं करता है। औसत परिशुद्धता, रिकॉल में संगत वृद्धि द्वारा सटीक मानों को भारित करके परिशुद्धता-रिकॉल संबंध को सारांशित करती है। बंधे हुए अंकों के बिना एक साधारण रैंकिंग में, यह सकारात्मक मामलों के कब्जे वाले रैंक पर औसत सटीकता के बराबर है। मान लीजिए कि केवल दो सकारात्मकताएँ पहली और तीसरी दिखाई देती हैं। उन स्थितियों में सटीकता एक और दो-तिहाई है, इसलिए औसत सटीकता लगभग 0.833 है। पीआर-एयूसी लेबल अस्पष्ट हो सकता है। कुछ रिपोर्टों का अर्थ है रिकॉल के विरुद्ध परिशुद्धता का समलम्बाकार एकीकरण; अन्य लोग औसत परिशुद्धता के लिए इसका शिथिल रूप से उपयोग करते हैं। स्किकिट-लर्न औसत_प्रिसिजन_स्कोर को एयूसी से अलग करता है, जो ट्रैपेज़ॉइडल नियम लागू करता है। ये मान भिन्न हो सकते हैं क्योंकि प्रक्षेप धारणाएँ भिन्न होती हैं। वास्तविक गणना बताएं. सटीकता मूल्यांकन आबादी में सकारात्मकता की व्यापकता पर निर्भर करती है। एक संतुलित नमूने का स्कोर एक तैनाती सेटिंग का वर्णन नहीं कर सकता है जहां सकारात्मकता दुर्लभ है। सकारात्मक अंश और मूल्यांकन डिज़ाइन की रिपोर्ट करें। अंत में, सभी सीमाओं का सारांश किसी ऑपरेटिंग सीमा का चयन नहीं करता है। उस बिंदु पर सटीकता, रिकॉल और कार्यभार का निरीक्षण करें जहां मॉडल का वास्तव में उपयोग किया जाएगा।
एक समीक्षा कतार में कई सामान्य आइटम और कुछ प्रासंगिक आइटम होते हैं। एक सटीक-रिकॉल वक्र अधिक प्रासंगिक वस्तुओं को खोजने और समीक्षकों को अधिक अप्रासंगिक वस्तुओं का निरीक्षण करने के लिए कहने के बीच व्यापार को दर्शाता है।
बिना किसी समान स्कोर वाली एक काल्पनिक रैंकिंग में, दो सकारात्मक मामले पहले और तीसरे स्थान पर आते हैं। उन पदों पर परिशुद्धता 1 और दो-तिहाई है, इसलिए औसत परिशुद्धता लगभग 0.833 है।
एक टीम लेबल और भविष्यवाणी स्कोर पर स्किकिट-लर्न के औसत_प्रिसिजन_स्कोर का उपयोग करती है। यह रिकॉर्ड करता है कि कौन सा वर्ग सकारात्मक के रूप में गिना जाता है और मूल्यांकन से पहले कठिन निर्णयों के साथ अंकों को बदलने से बचता है।
दो मूल्यांकन डेटासेट में सकारात्मक मामलों के अलग-अलग अनुपात हैं। एक विश्लेषक परिशुद्धता-रिकॉल परिणामों की तुलना करने से पहले उन अनुपातों की रिपोर्ट करता है, क्योंकि व्यापकता यह बदलती है कि परिशुद्धता की व्याख्या कैसे की जानी चाहिए।
मूल्यांकन डैशबोर्ड सारांश स्कोर के आगे सकारात्मक व्यापकता, सटीक क्षेत्र गणना और व्यावहारिक संचालन बिंदु दिखाकर रैंकिंग मेट्रिक्स को स्पष्ट कर सकते हैं। एक समीक्षा टीम इस बात की सबसे अधिक परवाह कर सकती है कि एक निश्चित दैनिक क्षमता के भीतर कितने उपयोगी मामले सामने आते हैं, जबकि दूसरी टीम को न्यूनतम रिकॉल की आवश्यकता हो सकती है। भविष्यवाणियों और लेबलों को संरक्षित करने से मॉडल को बदले बिना उन प्रश्नों पर दोबारा गौर किया जा सकता है। जैसे-जैसे आबादी बदलती है, टीमों को प्रतिनिधि डेटा पर ट्रेडऑफ़ का पुनर्मूल्यांकन करना चाहिए, बजाय यह मानने के कि पहले का औसत-सटीक परिणाम समान भविष्य के कार्यभार या उपयोगिता की गारंटी देता है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
औसत परिशुद्धता एक मॉडल की परिशुद्धता को सारांशित करती है क्योंकि निर्णय सीमा के पार रिकॉल बढ़ता है। सकारात्मक मामले दुर्लभ होने पर परिशुद्धता-रिकॉल वक्र उपयोगी होते हैं, लेकिन औसत परिशुद्धता और उस वक्र के नीचे एक समलम्बाकार क्षेत्र अलग-अलग गणनाएं हैं जिन्हें स्पष्ट रूप से नामित किया जाना चाहिए।
परिशुद्धता चयनित सेट की शुद्धता को मापती है; रिकॉल उन सभी सकारात्मकताओं की हिस्सेदारी को मापता है जो पाई गईं।
परिशुद्धता पहले सकारात्मक में एक है और दूसरे में दो-तिहाई है। उनका औसत पाँच-छठा है, लगभग 0.833।
औसत परिशुद्धता रिकॉल वृद्धि द्वारा सटीक वजन करती है, जबकि ट्रैपेज़ॉइडल एकीकरण एक अलग क्षेत्र निर्माण का उपयोग करके वक्र बिंदुओं को जोड़ता है।
स्कोर विभिन्न सीमाओं के पार मूल्यांकन की अनुमति देते हैं। कठोर निर्णय केवल एक ऑपरेटिंग बिंदु को बरकरार रखते हैं और अधिकांश रैंकिंग जानकारी को हटा देते हैं।
परिशुद्धता वर्ग व्यापकता पर निर्भर करती है, इसलिए जनसंख्या और नमूनाकरण योजनाएँ आवश्यक संदर्भ हैं।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
दस्तावेज़ समीक्षा में स्मरण, परिशुद्धता और मायावी परीक्षण
तकनीकी