तकनीकी गाइड
कक्षा असंतुलन और पुन: नमूनाकरण
वर्ग असंतुलन तब होता है जब एक परिणाम की संख्या दूसरे से बहुत अधिक हो जाती है - जैसे 99.9% वैध लेनदेन बनाम 0.1% धोखाधड़ी - जो मॉडलों को दुर्लभ लेकिन महत्वपूर्ण वर्ग की अनदेखी करने के लिए प्रेरित करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
पुन: नमूनाकरण प्रशिक्षण डेटा को पुनर्संतुलित करता है ताकि मॉडल वास्तव में अल्पसंख्यक को पहचानना सीख सके।
गहरा गोता
जब कक्षाएं तिरछी हो जाती हैं, तो एक मॉडल हमेशा बहुमत की भविष्यवाणी करके और एक भी धोखाधड़ी नहीं पकड़ कर 99.9% सटीकता प्राप्त कर सकता है, जो बेकार है। पुन: नमूनाकरण प्रशिक्षण वितरण को दो व्यापक तरीकों से ठीक करता है। ओवरसैंपलिंग अल्पसंख्यक उदाहरणों को डुप्लिकेट या संश्लेषित करता है - क्लासिक एसएमओटीई (सिंथेटिक माइनॉरिटी ओवर-सैंपलिंग तकनीक) अल्पसंख्यक नमूने और उसके निकटतम अल्पसंख्यक पड़ोसियों को कॉपी करने के बजाय उनके बीच अंतरण करके नए बिंदु बनाता है। इसके बजाय डेटा को फेंकने की कीमत पर, अंडरसैंपलिंग अधिकांश उदाहरणों (बेतरतीब ढंग से, या टोमेक लिंक या नियरमिस जैसे तरीकों के माध्यम से स्मार्ट तरीके से) को खारिज कर देती है। डेटा को छूने से बचने वाले विकल्पों में क्लास वेटेज (नुकसान फ़ंक्शन में अल्पसंख्यक त्रुटियों को अधिक दंडित करना) और प्रशिक्षण के बाद निर्णय सीमा को समायोजित करना शामिल है।
वास्तविक विश्व कार्यान्वयन
क्रेडिट-कार्ड धोखाधड़ी डिटेक्टर का प्रशिक्षण जहां वास्तविक धोखाधड़ी 1% से भी कम लेनदेन में होती है, दुर्लभ धोखाधड़ी के मामलों को बढ़ाने के लिए SMOTE का उपयोग किया जाता है
केवल कुछ प्रतिशत रोगियों में मौजूद एक दुर्लभ बीमारी के लिए एक चिकित्सा मॉडल बनाना, वर्ग भार लागू करना ताकि छूटे हुए मामलों पर भारी जुर्माना लगाया जा सके
विनिर्माण लाइन पर दोषपूर्ण वस्तुओं का पता लगाना जहां लगभग सभी उत्पाद निरीक्षण पास करते हैं, प्रशिक्षण को संतुलित करने के लिए 'अच्छी' वस्तुओं का कम नमूना लेना
सामान्य ट्रैफ़िक के प्रभुत्व वाले साइबर सुरक्षा लॉग में दुर्लभ नेटवर्क घुसपैठ को चिह्नित करना, सटीकता के बजाय प्रिसिजन-रिकॉल एयूसी के साथ मूल्यांकन किया गया
वर्ग असंतुलन और पुन: नमूनाकरण का भविष्य
एमएल पाइपलाइनों के अंदर पुन: नमूनाकरण तेजी से स्वचालित हो रहा है, असंतुलित-सीखने जैसे पुस्तकालय सीधे क्रॉस-सत्यापन में एकीकृत होते हैं। अनुसंधान लागत-संवेदनशील शिक्षण और अनुरूप हानि कार्यों की ओर बढ़ रहा है - जैसे कि फोकल हानि, जो आसान बहुमत उदाहरणों को कम करता है - जो अक्सर गहरे नेटवर्क पर क्रूड रेज़मैपलिंग से बेहतर प्रदर्शन करते हैं। सारणीबद्ध और छवि डेटा के लिए, यथार्थवादी अल्पसंख्यक नमूनों को संश्लेषित करने वाले जेनरेटिव मॉडल एसएमओटीई-शैली इंटरपोलेशन के अधिक परिष्कृत उत्तराधिकारी के रूप में उभर रहे हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
- स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
- गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।
का ध्यान रखें
- एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
- बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
- जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।
अगले चरण
- कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
- यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
- त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
- स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Class Imbalance and Resampling quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
कक्षा असंतुलन और पुनः नमूनाकरण क्या है?
वर्ग असंतुलन तब होता है जब एक परिणाम की संख्या दूसरे से बहुत अधिक हो जाती है - जैसे 99.9% वैध लेनदेन बनाम 0.1% धोखाधड़ी - जो मॉडलों को दुर्लभ लेकिन महत्वपूर्ण वर्ग की अनदेखी करने के लिए प्रेरित करता है। पुन: नमूनाकरण प्रशिक्षण डेटा को पुनर्संतुलित करता है ताकि मॉडल वास्तव में अल्पसंख्यक को पहचानना सीख सके।
अत्यधिक असंतुलित वर्गीकरण समस्या के लिए सामान्य सटीकता एक खराब मीट्रिक क्यों है?
यदि 99.9% मामले नकारात्मक हैं, तो एक मॉडल जो हमेशा नकारात्मक की भविष्यवाणी करता है उसे शून्य सकारात्मकता को पकड़ते हुए 99.9% सटीकता मिलती है, इसलिए सटीकता दुर्लभ वर्ग पर कुल विफलता को छुपाती है।
SMOTE क्या करता है?
एसएमओटीई (सिंथेटिक माइनॉरिटी ओवर-सैंपलिंग तकनीक) किसी अल्पसंख्यक बिंदु और उसके निकटतम अल्पसंख्यक पड़ोसियों की केवल नकल करने के बजाय उनके बीच अंतरण करके नए अल्पसंख्यक उदाहरण बनाता है।
कौन सा दृष्टिकोण प्रशिक्षण उदाहरणों की संख्या को बदले बिना असंतुलन को संभालता है?
वर्ग भारांकन डेटा को अछूता छोड़ देता है और इसके बजाय हानि फ़ंक्शन अल्पसंख्यक वर्ग पर त्रुटियों को अधिक भारी रूप से दंडित करता है।
अपने डेटा को ट्रेन और परीक्षण सेट में विभाजित करने से पहले ओवरसैंपलिंग लागू करने का मुख्य जोखिम क्या है?
विभाजन से पहले पुन: नमूनाकरण से ट्रेन और परीक्षण सेट दोनों में लगभग समान अल्पसंख्यक बिंदु दिखाई देते हैं, जानकारी लीक हो जाती है और अत्यधिक आशावादी, अवास्तविक प्रदर्शन उत्पन्न होता है।
रैंडम अंडरसैंपलिंग का मुख्य नकारात्मक पक्ष क्या है?
अंडरसैंपलिंग बहुसंख्यक उदाहरणों को हटाकर कक्षाओं को संतुलित करती है, जो सूचनात्मक डेटा को त्याग सकती है और बहुसंख्यक वर्ग को सीखने की मॉडल की क्षमता को नुकसान पहुंचा सकती है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं