आगेअगली गाइड
दस्तावेज़ समीक्षा में स्मरण, परिशुद्धता और मायावी परीक्षण
तकनीकी
बुनियादी गाइड
परिशुद्धता और स्मरण
क्लासिफायर के मूल्यांकन के लिए परिशुद्धता और रिकॉल दो पूरक मेट्रिक्स हैं, खासकर जब कक्षाएं असंतुलित होती हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
गहरा गोता
जब कोई मॉडल आइटम को सकारात्मक के रूप में चिह्नित करता है, तो दो प्रश्न मायने रखते हैं। प्रिसिजन पूछता है: हमने जो कुछ भी चिह्नित किया, उसमें से कितना वास्तव में सकारात्मक था? यह सभी अनुमानित सकारात्मकताओं से विभाजित वास्तविक सकारात्मकताओं के बराबर है, झूठे अलार्म को दंडित करता है। रिकॉल (संवेदनशीलता) पूछती है: वहां मौजूद सभी वास्तविक सकारात्मकताओं में से, हमने कितनों को पकड़ा? यह सभी वास्तविक सकारात्मकताओं से विभाजित वास्तविक सकारात्मकताओं के बराबर है, गलतियों को दंडित करता है। ये आम तौर पर व्यापार बंद कर देते हैं: निर्णय सीमा को कम करने से अधिक सकारात्मकता (उच्च रिकॉल) मिलती है, लेकिन अधिक बेकार (कम सटीकता) का पता चलता है, और इसके विपरीत। किसे प्राथमिकता देनी है यह लागत पर निर्भर करता है - एक स्पैम फ़िल्टर सटीकता का समर्थन करता है (वास्तविक मेल को रद्दी न करें), जबकि एक कैंसर स्क्रीन रिकॉल का समर्थन करता है (ट्यूमर को न चूकें)। F1 स्कोर, उनका हार्मोनिक माध्य, दोनों को एक संख्या में संतुलित करता है।
वास्तविक विश्व कार्यान्वयन
स्पैम फ़िल्टर उच्च परिशुद्धता के लिए ट्यून होते हैं इसलिए वैध ईमेल लगभग कभी भी गलत तरीके से स्पैम फ़ोल्डर में नहीं भेजे जाते हैं।
मेडिकल स्क्रीनिंग परीक्षण उच्च रिकॉल को प्राथमिकता देते हैं ताकि उन रोगियों को गायब होने से बचाया जा सके जिन्हें वास्तव में यह बीमारी है, और फॉलो-अप के लिए अधिक गलत सकारात्मक स्वीकार करते हैं।
रैंकिंग गुणवत्ता को मापने के लिए खोज और अनुशंसा प्रणालियाँ Precision@k (शीर्ष k परिणामों में से कितने प्रासंगिक हैं) की रिपोर्ट करती हैं।
धोखाधड़ी का पता लगाना F1 स्कोर के माध्यम से सटीकता और रिकॉल को संतुलित करता है, क्योंकि गलत अलार्म और मिस्ड धोखाधड़ी दोनों महंगे हैं।
परिशुद्धता और स्मरण का भविष्य
जैसे-जैसे एआई उच्च जोखिम वाले डोमेन में प्रवेश करता है - चिकित्सा निदान, सामग्री मॉडरेशन, धोखाधड़ी - टीमें केवल सटीकता के बजाय सटीकता और रिकॉल (और उनके घटता) की रिपोर्ट करती हैं, और वास्तविक दुनिया की लागत और निष्पक्षता बाधाओं से मेल खाने के लिए थ्रेसहोल्ड को ट्यून करती हैं। जनसांख्यिकी में असमान त्रुटि दरों का पता लगाने के लिए प्रति-समूह परिशुद्धता/रिकॉल ऑडिट मानक बन रहे हैं। समृद्ध लागत-संवेदनशील मेट्रिक्स, कैलिब्रेटेड संभावनाओं और टूलींग की अपेक्षा करें जो हितधारकों को डिफ़ॉल्ट 0.5 सीमा को स्वीकार करने के बजाय इंटरैक्टिव रूप से ऑपरेटिंग पॉइंट चुनने की सुविधा देता है।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां प्रिसिजन और रिकॉल मदद करते हैं और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Precision and Recall quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Precision and Recall?
क्लासिफायर के मूल्यांकन के लिए परिशुद्धता और रिकॉल दो पूरक मेट्रिक्स हैं, खासकर जब कक्षाएं असंतुलित होती हैं। साथ में वे यह प्रकट करते हैं कि स्पष्ट सटीकता क्या छिपाती है - कितनी बार एक मॉडल की सकारात्मक भविष्यवाणियां सही होती हैं, और यह वास्तव में कितनी वास्तविक सकारात्मकताएं पकड़ती है।
परिशुद्धता किस प्रश्न का उत्तर देती है?
परिशुद्धता = टीपी / (टीपी + एफपी) मॉडल की सकारात्मक भविष्यवाणियों की शुद्धता को मापता है - एक सकारात्मक ध्वज कितना भरोसेमंद है।
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं