तकनीकी गाइड
मैथ्यूज सहसंबंध गुणांक
मैथ्यूज़ सहसंबंध गुणांक, या MCC, यह सारांशित करता है कि पूर्वानुमानित वर्ग लेबल वास्तविक लेबल के साथ कितनी अच्छी तरह मेल खाते हैं, जबकि भ्रम मैट्रिक्स के हर सेल को ध्यान में रखते हुए।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर3 मिनट लाल
सिंहावलोकन
यह उपयोगी है जब वर्ग आकार अलग-अलग होते हैं और एक उच्च सटीकता स्कोर कम सामान्य वर्ग पर विफलता को छिपा सकता है।
गहरा गोता
A classifier can look successful by repeatedly choosing the common class. Imagine a test set containing 990 legitimate messages and 10 spam messages. Predicting legitimate for every message gives 99% accuracy, yet the filter catches no spam. This is a constructed example of class imbalance, not a reported performance result. MCC helps assess the relationship between predictions and outcomes using correct and incorrect classifications from both classes. In a binary confusion matrix, true positives and true negatives are correct decisions; false positives and false negatives are the two kinds of mistake. A score near positive one indicates strong agreement. Zero indicates no correlation, and negative values indicate an inverse relationship. With both binary classes present, a perfect reversal gives negative one. Consider a different hypothetical classifier with 40 true positives, 40 true negatives and 10 of each kind of error. Its accuracy is 80%, and its MCC is 0.6. Those values describe the same predictions using different scales. An MCC of 0.6 does not mean that 60% of cases were classified correctly. MCC does not decide how costly an error is. A missed machine defect and an unnecessary inspection may have very different consequences. Report the confusion matrix and relevant class-specific metrics alongside MCC, then choose an operating threshold using validation data and the actual decision costs. Scikit-learn provides matthews_corrcoef for binary and multiclass labels. The metric works on predicted classes, so it does not assess whether a claimed 90% probability is trustworthy. Degenerate cases, such as predicting only one class, also need care: the binary formula has a zero denominator, and a library's numeric convention should not be mistaken for a successful classifier.
वास्तविक विश्व कार्यान्वयन
एक काल्पनिक 1,000 संदेशों के सेट में, 990 वैध हैं। एक फ़िल्टर जो हर संदेश को वैध के रूप में लेबल करता है, 99% सटीकता प्राप्त करता है जबकि कोई स्पैम नहीं पहचानता, यह दिखाता है कि सटीकता को अतिरिक्त संदर्भ की आवश्यकता क्यों है।
एक खिलौना वर्गीकरणकर्ता के पास 40 सही सकारात्मक, 40 सही नकारात्मक, 10 गलत सकारात्मक और 10 गलत नकारात्मक हैं। इसका MCC 0.6 है, जो पूरे भ्रम मैट्रिक्स से गणना किया गया है।
एक टीम दो दोष पहचानकर्ताओं की तुलना स्थिर परिचालन सीमाओं पर करती है। MCC के साथ-साथ, यह रिपोर्ट करती है कि प्रत्येक पहचानकर्ता कितने दोषपूर्ण आइटम मिस करता है, क्योंकि उन मिसों का एक विशिष्ट परिचालन लागत होता है।
एक विश्लेषक scikit-learn के matthews_corrcoef का उपयोग अवलोकित और पूर्वानुमानित लेबल पर करता है। वे मॉडल की संभाव्यता विश्वास को अलग से मूल्यांकित करते हैं बजाय MCC को एक कैलिब्रेशन स्कोर के रूप में मानने के।
मैथ्यूज़ सहसंबंध गुणांक का भविष्य
स्वचालित मूल्यांकन रिपोर्ट MCC को अधिक उपयोगी बना सकती हैं, प्रत्येक स्कोर को सटीक डेटासेट, लेबल परिभाषा और निर्णय सीमा से जोड़कर। एक टीम को सारांश संख्या से उन मामलों तक जाने में सक्षम होना चाहिए जो त्रुटियों के लिए जिम्मेदार हैं, जबकि डेटा पर पहुँच नियंत्रण का सम्मान करते हुए। भविष्य के मॉडल तुलना में वर्ग आवृत्तियों में बदलाव और संबंधित उपसमूहों के परिणाम भी शामिल होने चाहिए। कोई एकल सहमति सांख्यिकीय यह निर्धारित नहीं कर सकता कि परिनियोजन लाभकारी है या नहीं। व्यावहारिक सुधार एक पुनरुत्पादक स्कोर को उन त्रुटियों के साक्ष्य के साथ संयोजित करने से आता है जो होती हैं और लोग उन पर कैसे प्रतिक्रिया देते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
मैथ्यूज़ सहसंबंध गुणांक क्विज़ लें
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
मैथ्यूज़ सहसंबंध गुणांक क्या है?
मैथ्यूज़ सहसंबंध गुणांक, या MCC, यह सारांशित करता है कि पूर्वानुमानित वर्ग लेबल वास्तविक लेबल के साथ कितनी अच्छी तरह मेल खाते हैं, जबकि भ्रम मैट्रिक्स के हर सेल को ध्यान में रखते हुए। यह उपयोगी है जब वर्ग आकार अलग-अलग होते हैं और एक उच्च सटीकता स्कोर कम सामान्य वर्ग पर विफलता को छिपा सकता है।
एक फ़िल्टर सभी 1,000 संदेशों को वैध के रूप में लेबल करता है जब वास्तव में 990 वैध हैं। क्यों इसकी 99% सटीकता उपयोगी स्पैम पहचान का पर्याप्त प्रमाण नहीं है?
बहुमत वर्ग को हमेशा चुनने से उच्च सटीकता प्राप्त हो सकती है जबकि फ़िल्टर को पहचानने की आवश्यकता वाले वर्ग के हर उदाहरण को मिस कर सकता है।
गाइड के खिलौना भ्रम मैट्रिक्स से कौन सा मान निकलता है जिसमें 40 सही सकारात्मक, 40 सही नकारात्मक और प्रत्येक त्रुटि के 10 हैं?
अंश 1,500 और हर 2,500 है, जिससे MCC 0.6 बनता है।
एक रिपोर्ट MCC 0.6 को '60% मामलों में सही' के रूप में व्याख्या करती है। उस व्याख्या को कैसे सुधारा जाना चाहिए?
सटीकता सही भविष्यवाणियों के अंश को व्यक्त करती है। MCC एक अलग सूत्र और पैमाने का उपयोग करता है।
बाइनरी डेटा में दोनों वर्गों के साथ, एक वर्गीकरणकर्ता हर लेबल को पूरी तरह उलट देता है। कौन सा MCC मान उस संबंध का वर्णन करता है?
वास्तविक और पूर्वानुमानित बाइनरी लेबल के बीच एक परिपूर्ण उलटा संबंध MCC को नकारात्मक एक बनाता है।
एक कारखाना मिस्ड दोषों को अनावश्यक निरीक्षणों से अलग मूल्य देता है। MCC के साथ कौन सा अतिरिक्त साक्ष्य आवश्यक है?
MCC सहायता का सारांश प्रस्तुत करता है, बिना इस बात को एन्कोड किए कि गलत सकारात्मक और गलत नकारात्मक परिणामों के विशिष्ट परिणाम क्या हैं।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं