तकनीकी गाइड

केएल विचलन

कुल्बैक-लीब्लर (केएल) विचलन दूसरे का प्रतिनिधित्व करने के लिए एक संभाव्यता वितरण का उपयोग करने की अपेक्षित अतिरिक्त सूचना लागत को मापता है।

इस गाइड को सुनेंएआई-नैरेटेड · ~3 min

इस पृष्ठ पर3 मिनट लाल
  1. सिंहावलोकन
  2. गहरा गोता
  3. वास्तविक विश्व कार्यान्वयन
  4. केएल डाइवर्जेंस का भविष्य
  5. इसे व्यवहार में लाना
  6. अन्वेषण करते रहें
  7. अक्सर पूछे जाने वाले प्रश्नों

सिंहावलोकन

यह गैर-नकारात्मक लेकिन असममित है, इसलिए संदर्भ और तुलना वितरण की अदला-बदली से आम तौर पर परिणाम बदल जाता है और यह बदल सकता है कि कौन सा मॉडलिंग विकल्प बेहतर लगता है।

गहरा गोता

समान परिणामों पर असतत वितरण p और q के लिए, KL विचलन D_KL(p||q) = परिणामों का योग p(x) log(p(x)/q(x)) है। यह q की तुलना संदर्भ p से करता है, प्रत्येक लॉग अनुपात को इस आधार पर महत्व देता है कि परिणाम p के अंतर्गत कितनी बार आता है। सूचना सिद्धांत में, इसकी व्याख्या अपेक्षित अतिरिक्त कोडिंग लागत के रूप में की जा सकती है जब एक कोड को q के लिए अनुकूलित किया जाता है लेकिन वास्तविक वितरण p है। लॉग बेस इकाई निर्धारित करता है: प्राकृतिक लॉगरिदम नैट उत्पन्न करते हैं और बेस दो बिट बिट्स उत्पन्न करते हैं। केएल विचलन गैर-नकारात्मक है और शून्य के बराबर है जब वितरण समर्थन विचारों के अधीन, पी के तहत सकारात्मक संभावना वाले परिणामों पर मेल खाता है। यह असममित है: D_KL(p||q) आम तौर पर D_KL(q||p) नहीं है। यह इसे पारंपरिक ज्यामितीय दूरी के रूप में अनुपयुक्त बनाता है। परिवर्तनशील अनुमान जैसे अनुप्रयोगों में दिशा मायने रखती है, जहां एक वितरण को लक्ष्य के रूप में और दूसरे को अनुमान के रूप में माना जाता है। निष्पक्ष-बनाम-पक्षपाती सिक्के के उदाहरण में, p=(0.5,0.5) और q=(0.9,0.1)। बिट-मूल्य योगदान 0.5 लॉग2(0.5/0.9), लगभग -0.424, और 0.5 लॉग2(0.5/0.1), लगभग 1.161 है। इनका योग लगभग 0.737 बिट्स है। नकारात्मक व्यक्तिगत शर्तों की अनुमति है, भले ही कुल विचलन गैर-नकारात्मक हो। पी और क्यू को उलटने से एक अलग मूल्य उत्पन्न होता है क्योंकि वजन भी बदल जाता है। समर्थन बेमेल मायने रखता है। यदि p किसी परिणाम के लिए सकारात्मक संभाव्यता निर्दिष्ट करता है, जहां q शून्य निर्दिष्ट करता है, तो संगत अग्र विचलन अनंत है। यदि दोनों शून्य निर्दिष्ट करते हैं, तो वह परिणाम असतत योग में परंपरा के अनुसार शून्य का योगदान देता है। निरंतर वितरण के लिए, केएल को पी के तहत लॉग घनत्व अनुपात के अभिन्न अंग के रूप में लिखा जाता है; परिमितता के लिए P को Q के संबंध में बिल्कुल निरंतर होना आवश्यक है। SciPy का एन्ट्रॉपी फ़ंक्शन एक वितरण और सापेक्ष एन्ट्रॉपी के साथ शैनन एन्ट्रॉपी की गणना करता है जब q प्रदान किया जाता है; इनपुट सामान्यीकरण और दिशा की जाँच करें। केएल वितरण की तुलना करने के लिए उपयोगी है, लेकिन यह स्वयं यह नहीं बताता है कि कोई मॉडल डाउनस्ट्रीम निर्णय के लिए उपयोगी है या नहीं।

वास्तविक विश्व कार्यान्वयन

एक काल्पनिक निष्पक्ष सिक्का वितरण p=(0.5,0.5) की तुलना q=(0.9,0.1) से की जाती है। बिट्स में, D_KL(p||q)=0.5 log2(0.5/0.9)+0.5 log2(0.5/0.1), लगभग 0.737 बिट्स।

एक भाषा मॉडल को लक्ष्य टोकन वितरण से उसके अनुमानित वितरण तक केएल को न्यूनतम करने के लिए प्रशिक्षित किया जाता है। यदि किसी लक्ष्य घटना के लिए अनुमानित संभावना शून्य है, तो आगे की केएल लागत अनंत हो सकती है, जिसके लिए सावधानीपूर्वक स्मूथिंग या मॉडल समर्थन की आवश्यकता होती है।

एक शोधकर्ता दो वितरणों के लिए D_KL(p||q) की तुलना D_KL(q||p) से करता है और विभिन्न मान पाता है। विषमता का अर्थ है कि मीट्रिक कोई सामान्य दूरी नहीं है और इसमें कोई सामान्य त्रिभुज असमानता नहीं है।

एक विश्लेषक scipy.stats.entropy(pk, qk) का उपयोग करता है और पुष्टि करता है कि कौन सा तर्क लक्ष्य वितरण का प्रतिनिधित्व करता है क्योंकि एपीआई की सापेक्ष-एन्ट्रॉपी दिशा qk के सापेक्ष pk का अनुसरण करती है।

केएल डाइवर्जेंस का भविष्य

वितरण तुलना तब अधिक व्याख्या योग्य होगी जब रिपोर्ट बताती है कि कौन सा वितरण संदर्भ है, लॉग आधार है, और शून्य-संभावना घटनाओं को कैसे संभाला जाता है। मॉडल प्रशिक्षण में, टीमों को केएल दिशा को अपने इच्छित व्यवहार से जोड़ना चाहिए: सभी लक्ष्य मोड को कवर करना एक प्रमुख मोड के निकट सन्निकटन पर ध्यान केंद्रित करने से भिन्न होता है। डाउनस्ट्रीम निर्णयों के साथ-साथ विचलन मूल्यों का भी मूल्यांकन करें, क्योंकि कम वितरण बेमेल स्वयं व्यावहारिक उपयोगिता की गारंटी नहीं है। भविष्य की पाइपलाइनों में समर्थन जांच और स्मूथिंग के प्रति संवेदनशीलता शामिल हो सकती है, जिससे संभावनाओं को चुपचाप बदलने के बजाय संख्यात्मक किनारे के मामलों को दृश्यमान बनाया जा सकता है।

इसे व्यवहार में लाना

यह क्यों मायने रखता है?

  • लागत और बजट. वास्तुकला संबंधी निर्णय वर्षों तक प्रदर्शन और परिचालन लागत को संचालित करते हैं।
  • स्पष्ट निर्णय. तकनीकी शिक्षा टीमों को सही स्टैक चुनने में मदद करती है, न कि केवल नवीनतम स्टैक चुनने में।
  • गुणवत्ता नियंत्रण. बेहतर इंजीनियरिंग विकल्प उत्पादन में विश्वसनीयता की घटनाओं को कम करते हैं।

का ध्यान रखें

  • एक बेंचमार्क को अनुकूलित करने से व्यापक सिस्टम कमजोरियों को छुपाया जा सकता है।
  • बुनियादी ढांचे और रखरखाव की लागत को अक्सर कम करके आंका जाता है।
  • जैसे-जैसे सिस्टम अधिक जटिल होते जाएंगे सुरक्षा और अवलोकन संबंधी अंतराल बढ़ सकते हैं।

अगले चरण

  1. कार्यान्वयन से पहले विलंबता, गुणवत्ता और लागत लक्ष्य परिभाषित करें।
  2. यथार्थवादी लोड और डेटा स्थितियों के तहत बेंचमार्क।
  3. त्रुटियों, बहाव और उपयोगकर्ता प्रभाव के लिए उपकरण निगरानी।
  4. स्केलिंग से पहले रोलबैक और घटना प्रतिक्रिया पथ तैयार करें।

अन्वेषण करते रहें

मुफ़्त न्यूज़लेटर

दैनिक एआई ब्रीफिंग प्राप्त करें

हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।

प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।

स्वयं की जांच करो

KL Divergence क्विज़ लें

प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।

प्रश्नोत्तरी प्रारंभ करें

निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें

अक्सर पूछे जाने वाले प्रश्नों

केएल डाइवर्जेंस क्या है?

कुल्बैक-लीब्लर (केएल) विचलन दूसरे का प्रतिनिधित्व करने के लिए एक संभाव्यता वितरण का उपयोग करने की अपेक्षित अतिरिक्त सूचना लागत को मापता है। यह गैर-नकारात्मक लेकिन असममित है, इसलिए संदर्भ और तुलना वितरण की अदला-बदली से आम तौर पर परिणाम बदल जाता है और यह बदल सकता है कि कौन सा मॉडलिंग विकल्प बेहतर लगता है।

D_KL(p||q) में, कौन सा वितरण लॉग-अनुपात शर्तों को महत्व देता है?

योग को p(x) द्वारा भारित किया जाता है, जो इस दिशा में संदर्भ वितरण है।

केएल विचलन एक सामान्य सममित दूरी क्यों नहीं है?

जब वितरण का आदान-प्रदान किया जाता है तो भार और अनुपात बदल जाता है।

p(x)>0 और q(x)=0 के लिए, संबंधित फॉरवर्ड केएल योगदान का क्या होता है?

लॉग अनुपात में एक धनात्मक अंश और शून्य हर होता है, जिससे अनंत विचलन प्राप्त होता है।

निष्पक्ष-बनाम-पक्षपाती सिक्के के उदाहरण में, एक सारांश नकारात्मक क्यों हो सकता है जबकि कुल केएल गैर-नकारात्मक रहता है?

कुछ q संभावनाएँ p से अधिक हैं, जो नकारात्मक लॉग शर्तें देती हैं, जबकि पूर्ण विचलन गैर-नकारात्मकता का पालन करता है।

आधार-दो लघुगणक का उपयोग करने से किस इकाई का परिणाम मिलता है?

आधार दो जानकारी को बिट्स में मापते हैं; प्राकृतिक लकड़ियाँ नट पैदा करती हैं।

सीखते रहो

संबंधित मार्गदर्शिकाएँ

इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं

निःशुल्क AI प्रमाणपत्र प्राप्त करेंएक संक्षिप्त निःशुल्क पाठ्यक्रम और परीक्षा। कोई कीमत नहीं, कोई कार्ड नहीं. लगभग 2.5 घंटे.निःशुल्क प्रारंभ करें →