आगेअगली गाइड
तंत्रिका नेटवर्क के लिए स्केलिंग कानून
बुनियादी बातें
बुनियादी गाइड
तंत्रिका स्पर्शरेखा कर्नेल सिद्धांत
न्यूरल टैंगेंट कर्नेल (एनटीके) एक गणितीय उपकरण है जो दिखाता है कि प्रशिक्षण के दौरान असीम रूप से व्यापक तंत्रिका नेटवर्क एक विशिष्ट, निश्चित कर्नेल विधि की तरह व्यवहार करते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
यह मायने रखता है क्योंकि यह रहस्यमय गहरी शिक्षा को बंद-रूप, विश्लेषण योग्य समीकरणों के साथ कुछ में बदल देता है।
गहरा गोता
2018 में जैकोट, गेब्रियल और हॉन्गलर द्वारा प्रस्तुत, एनटीके सिद्धांत अध्ययन करता है कि जब नेटवर्क की परतें अनंत रूप से चौड़ी हो जाती हैं तो क्या होता है। उस सीमा में, ग्रेडिएंट डिसेंट के साथ प्रशिक्षण एक जंगली नॉनलाइनियर यात्रा बनना बंद कर देता है: नेटवर्क के पैरामीटर मुश्किल से अपने यादृच्छिक आरंभीकरण ('आलसी प्रशिक्षण' शासन) से आगे बढ़ते हैं, और यह जिस फ़ंक्शन की गणना करता है वह रैखिक रूप से विकसित होता है, एक कर्नेल द्वारा शासित होता है जो पूरे प्रशिक्षण के दौरान स्थिर रहता है। वह कर्नेल - मापदंडों के संबंध में ग्रेडिएंट्स का आंतरिक उत्पाद - एनटीके है। क्योंकि कर्नेल रिग्रेशन के सटीक समाधान हैं, आप वास्तव में प्रशिक्षित किए बिना प्रशिक्षित नेटवर्क के आउटपुट का अनुमान लगा सकते हैं। एनटीके ने बताया कि क्यों अत्यधिक पैरामीटर वाले नेटवर्क डेटा को फिट कर सकते हैं फिर भी सामान्यीकृत कर सकते हैं, और यह गहन शिक्षा को दशकों से अच्छी तरह से समझी जाने वाली कर्नेल विधियों और गॉसियन प्रक्रियाओं से जोड़ता है।
वास्तविक विश्व कार्यान्वयन
महंगे ट्रायल रन के बिना सीखने की दर चुनने के लिए विश्लेषणात्मक रूप से एक विस्तृत नेटवर्क की प्रशिक्षण गतिशीलता की भविष्यवाणी करना
न्यूरल आर्किटेक्चर खोज के दौरान उम्मीदवार आर्किटेक्चर को सस्ते में रैंक करने के लिए एनटीके-आधारित मेट्रिक्स का उपयोग करना
सैद्धांतिक रूप से समझाते हुए कि क्यों अति-मानकीकृत नेटवर्क शून्य प्रशिक्षण हानि में परिवर्तित होते हैं और फिर भी सामान्यीकरण करते हैं
छोटे डेटा वाले कार्यों के लिए कर्नेल सन्निकटन (एनटीके-प्रेरित गाऊसी प्रक्रियाएं) डिजाइन करना जहां सटीक अनिश्चितता का अनुमान मायने रखता है
तंत्रिका स्पर्शरेखा कर्नेल सिद्धांत का भविष्य
एनटीके आधुनिक डीप-लर्निंग सिद्धांत की रीढ़ है, लेकिन वास्तविक परिमित नेटवर्क विशेषताएं सीखते हैं - कुछ निश्चित-कर्नेल चित्र छूट जाता है। अनुसंधान अब 'आलसी' एनटीके व्यवहार और 'समृद्ध' सुविधा-शिक्षण व्यवस्था के बीच अंतर पर और वास्तुकला प्रदर्शन की भविष्यवाणी करने, तंत्रिका वास्तुकला खोज को निर्देशित करने और बाध्य सामान्यीकरण के लिए एनटीके का उपयोग करने पर केंद्रित है। हाइब्रिड सिद्धांतों की अपेक्षा करें जो यह पता लगाते हैं कि नेटवर्क कब कर्नेल की तरह व्यवहार करते हैं बनाम जब वे वास्तव में अभ्यावेदन सीखते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां न्यूरल टेंगेंट कर्नेल थ्योरी मदद करती है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Neural Tangent Kernel Theory quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
न्यूरल टैंजेंट कर्नेल थ्योरी क्या है?
न्यूरल टैंगेंट कर्नेल (एनटीके) एक गणितीय उपकरण है जो दिखाता है कि प्रशिक्षण के दौरान असीम रूप से व्यापक तंत्रिका नेटवर्क एक विशिष्ट, निश्चित कर्नेल विधि की तरह व्यवहार करते हैं। यह मायने रखता है क्योंकि यह रहस्यमय गहन शिक्षा को बंद-रूप, विश्लेषण योग्य समीकरणों में बदल देता है।
अनंत-चौड़ाई सीमा में, प्रशिक्षण के दौरान तंत्रिका स्पर्शरेखा कर्नेल कैसे व्यवहार करता है?
एक केंद्रीय एनटीके परिणाम यह है कि अनंत-चौड़ाई सीमा में कर्नेल एक निश्चित मूल्य में परिवर्तित हो जाता है और ग्रेडिएंट-डिसेंट प्रशिक्षण के दौरान स्थिर रहता है।
गणितीय रूप से एनटीके क्या है?
NTK K(x,x') = ⟨∇θ f(x), ∇θ f(x')⟩ है, जो मापदंडों के संबंध में आउटपुट के ग्रेडिएंट्स का आंतरिक उत्पाद है।
न्यूरल टेन्जेंट कर्नेल की शुरुआत किसने की?
एनटीके को आर्थर जैकोट, फ्रैंक गेब्रियल और क्लेमेंट हॉन्गलर द्वारा 2018 के पेपर में पेश किया गया था।
'आलसी प्रशिक्षण' व्यवस्था क्या है?
आलसी प्रशिक्षण में, वाइड-नेटवर्क पैरामीटर अपने प्रारंभिक मूल्यों के करीब रहते हैं और आउटपुट रैखिक रूप से विकसित होता है, जो निश्चित-कर्नेल विश्लेषण को वैध बनाता है।
चूँकि NTK प्रशिक्षण को कर्नेल प्रतिगमन तक कम कर देता है, तो क्या संभव हो जाता है?
कर्नेल रिग्रेशन में बंद-फ़ॉर्म समाधान होते हैं, इसलिए एनटीके सीमा में कोई भी प्रशिक्षित नेटवर्क के आउटपुट का विश्लेषणात्मक अनुमान लगा सकता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं