आगेअगली गाइड
Ollama के साथ स्थानीय एलएलएम ऐप्स का निर्माण
तकनीकी
तकनीकी गाइड
स्थानीय बाहरी कारक (एलओएफ) अपने निकटतम पड़ोसियों के घनत्व के साथ इसके स्थानीय घनत्व की तुलना करके एक अवलोकन प्राप्त करता है।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
यह उन बिंदुओं का पता लगा सकता है जो विरल या घने क्षेत्र के भीतर असामान्य हैं, लेकिन पड़ोसी गिनती, दूरी स्केलिंग और बाहरी पहचान और नवीनता पहचान के बीच अंतर इसके उपयोग को प्रभावित करते हैं।
एलओएफ एक घनत्व-आधारित विसंगति स्कोर है। प्रत्येक अवलोकन के लिए, यह k निकटतम बिंदुओं का पड़ोस ढूंढता है और स्थानीय पहुंच घनत्व का अनुमान लगाता है, जो दर्शाता है कि बिंदु अपने पड़ोसियों के सापेक्ष कितनी बारीकी से पैक किया गया है। एलओएफ पड़ोसियों के औसत स्थानीय पहुंच घनत्व की तुलना बिंदु के स्वयं के घनत्व से करता है। एक के पास का स्कोर तुलनीय स्थानीय घनत्व को इंगित करता है; काफी बड़ा स्कोर इंगित करता है कि बिंदु आस-पास के अवलोकनों की तुलना में कम घना है। यह वैश्विक दूरी-केंद्र माप के बजाय एक सापेक्ष स्थानीय तुलना है। यह स्थानीयता उन विसंगतियों को सामने ला सकती है जो वैश्विक तरीकों से छूट जाती हैं। एक घने पड़ोस में एक बिंदु असामान्य हो सकता है जबकि अभी भी उस क्षेत्र में पड़ा हुआ है जहां समग्र डेटासेट व्यापक है। इसके विपरीत, मुख्य बादल से दूर एक बिंदु एक विशिष्ट घने उपसमूह से संबंधित हो सकता है और एक सामान्य स्थानीय स्कोर प्राप्त कर सकता है। क्या उस उपसमूह को असंगत के रूप में गिना जाना चाहिए यह कार्य पर निर्भर करता है। पड़ोसी गिनती तुलना के पैमाने को नियंत्रित करती है। छोटे पड़ोस बारीक संरचना और शोर के प्रति संवेदनशील होते हैं; बड़े वाले अलग-अलग समूहों में तुलना कर सकते हैं। दूरी मीट्रिक और फ़ीचर इकाइयाँ महत्वपूर्ण हैं क्योंकि LOF निकटतम पड़ोसियों का उपयोग करता है। संख्यात्मक चरों को उचित रूप से स्केल करें और भ्रामक संख्यात्मक क्रम का आविष्कार किए बिना श्रेणियों को एन्कोड करें। अपेक्षित समूह आकार के आधार पर सेटिंग्स चुनें और आदर्श रूप से समीक्षा किए गए मामलों के साथ स्कोर व्यवहार का मूल्यांकन करें। स्किकिट-लर्न बाहरी पहचान को अलग करता है, जहां एलओएफ नवीनता पहचान से फिट किए गए डेटासेट में असामान्य अवलोकनों की पहचान करता है, जहां एक मॉडल को संदर्भ डेटा पर फिट किया जाता है और नए बिंदुओं पर उपयोग किया जाता है। उत्तरार्द्ध के लिए नवीनता = सत्य की आवश्यकता होती है, और दस्तावेज़ उस मोड में प्रशिक्षण डेटा पर नवीनता स्कोरिंग विधियों का उपयोग करने के खिलाफ चेतावनी देता है। एलओएफ स्कोर कैलिब्रेटेड संभावनाएं नहीं हैं और एपीआई में उल्टे संकेत सम्मेलनों का उपयोग कर सकते हैं। निरीक्षण करें कि क्या उच्च या निम्न मान अधिक असामान्यता का संकेत देते हैं। पड़ोस की विसंगति एक चयनित संदर्भ सेट और मीट्रिक से संबंधित साक्ष्य है, न कि डेटा गुणवत्ता या जोखिम के बारे में एक निश्चित निर्णय।
एक बिंदु घने पड़ोस के बगल में एक विरल जेब में स्थित है। इसका स्थानीय पहुंच घनत्व इसके पड़ोसियों की तुलना में कम है, इसलिए इसका एलओएफ अनुपात बढ़ जाता है, भले ही इसका पूर्ण स्थान विश्व स्तर पर सभी डेटा से दूर न हो।
एक काल्पनिक अवलोकन मुख्य बादल से दूर लेकिन एक अलग घने उपसमूह के अंदर स्थित है। एलओएफ इसे स्थानीय रूप से सामान्य मान सकता है क्योंकि इसमें समान घनत्व वाले पड़ोसी हैं, जो वैश्विक दुर्लभता और स्थानीय बाहरी स्थिति के बीच अंतर को दर्शाता है।
एक टीम दूरी की गणना से पहले n_neighbors मानों की तुलना करती है और संख्यात्मक विशेषताओं को मापती है। बहुत कम पड़ोसियों के साथ, छोटी संरचनाएँ हावी हो सकती हैं; बहुत से लोग स्थानीय समूहों को धुंधला कर सकते हैं.
नवीनता का पता लगाने के लिए, एक विश्लेषक संदर्भ डेटा पर LOF को नवीनता = सत्य के साथ फिट करता है और बाद में अनदेखे अंक प्राप्त करता है। वे लाइब्रेरी के प्रलेखित भेद का पालन करते हुए, इस मोड के तहत प्रशिक्षण सेट में नवीनता स्कोरिंग विधियों को लागू करने से बचते हैं।
जब विसंगति रिपोर्ट चयनित पड़ोसी पैमाने, प्रीप्रोसेसिंग और स्थानीय स्कोर दिशा दिखाती है तो एलओएफ सावधानीपूर्वक समीक्षा का समर्थन कर सकता है। स्थानीय विचलन मायने रखता है या नहीं, यह तय करने के लिए टीमों को अपने वास्तविक सहकर्मी समूहों के साथ असामान्य मामलों की तुलना करनी चाहिए। जैसे-जैसे डेटा वितरण बदलता है, संदर्भ सेट को सोच-समझकर अद्यतन करें और खंड के अनुसार स्कोर बदलाव की निगरानी करें। जब नवीनता का पता लगाने का उपयोग किया जाता है, तो प्रशिक्षण और भविष्य के स्कोरिंग पथ को अलग रखें। बेहतर इंटरफ़ेस यह समझा सकता है कि किन पड़ोसियों ने स्कोर में योगदान दिया, जबकि यह स्पष्ट किया कि पड़ोस की तुलना एक कारणात्मक या अंशांकित जोखिम मूल्यांकन नहीं है।
मुफ़्त न्यूज़लेटर
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
स्थानीय बाहरी कारक (एलओएफ) अपने निकटतम पड़ोसियों के घनत्व के साथ इसके स्थानीय घनत्व की तुलना करके एक अवलोकन प्राप्त करता है। यह उन बिंदुओं का पता लगा सकता है जो विरल या घने क्षेत्र के भीतर असामान्य हैं, लेकिन पड़ोसी गिनती, दूरी स्केलिंग और बाहरी पहचान और नवीनता पहचान के बीच अंतर इसके उपयोग को प्रभावित करते हैं।
एलओएफ पड़ोसी घनत्व की तुलना बिंदु के घनत्व से करता है; बड़ा अनुपात सापेक्ष विरलता को दर्शाता है।
एलओएफ स्थानीय है; अपने स्वयं के घने पड़ोस में एक बिंदु वैश्विक अलगाव के बावजूद स्थानीय रूप से सामान्य हो सकता है।
k पड़ोस का आकार निर्धारित करता है और इसलिए घनत्व तुलना का स्थानीय पैमाना निर्धारित करता है।
स्केल अंतर दूरी मीट्रिक पर हावी हो सकते हैं और बदल सकते हैं कि कौन से अवलोकन पड़ोसी हैं।
नवीनता मोड संदर्भ डेटा को फिट करता है और अनदेखी टिप्पणियों का मूल्यांकन करता है, जो फिट किए गए नमूने के भीतर आउटलेर्स की पहचान करने से अलग है।
सीखते रहो
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं
आगेअगली गाइड
Ollama के साथ स्थानीय एलएलएम ऐप्स का निर्माण
तकनीकी