सक्रियण कार्य
सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के अंदर छोटे गैर-रेखीय द्वार होते हैं जो तंत्रिका नेटवर्क को केवल सीधी रेखाओं के बजाय जटिल, घुमावदार पैटर्न सीखने देते हैं।
सिंहावलोकन
Without them, a deep network would collapse into a single linear equation.
गहरा गोता
प्रत्येक न्यूरॉन अपने इनपुट के भारित योग की गणना करता है, लेकिन वह योग अकेला रैखिक होता है। कई रैखिक परतों को ढेर करें और, गणितीय रूप से, आपके पास अभी भी केवल एक बड़ा रैखिक कार्य होगा, चाहे कितना भी गहरा क्यों न हो। सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के आउटपुट में एक गैर-रेखीय परिवर्तन लागू करके इसे तोड़ता है, जिससे नेटवर्क को लगभग किसी भी फ़ंक्शन को अनुमानित करने की शक्ति मिलती है। सबसे लोकप्रिय ReLU है, जो सकारात्मक होने पर इनपुट को आउटपुट करता है और अन्यथा शून्य; यह तेज़ है और पुराने कार्यों की कुछ प्रशिक्षण समस्याओं से बचाता है। सिग्मॉइड और टैन स्क्वैश मान सीमित सीमाओं में हैं और ऐतिहासिक रूप से सामान्य थे, लेकिन गहरे नेटवर्क में लुप्त हो रहे ग्रेडिएंट से पीड़ित हो सकते हैं। आउटपुट पर उपयोग किया जाने वाला सॉफ्टमैक्स फ़ंक्शन, कच्चे स्कोर को कक्षाओं में संभाव्यता वितरण में परिवर्तित करता है।
तकनीकी अंतर्दृष्टि
ReLU की अपील आंशिक रूप से इसकी ढाल है: यह सकारात्मक इनपुट के लिए बिल्कुल 1 है, इसलिए यह बैकप्रॉपैगेशन के दौरान त्रुटि सिग्नल को सिकोड़ता नहीं है, जिससे गहरे नेटवर्क को प्रशिक्षित करने में मदद मिलती है। इसके विपरीत, सिग्मॉइड और टैन अपने चरम पर चपटे होते हैं, जहां उनका ग्रेडिएंट शून्य के करीब पहुंचता है, जिससे लुप्त-ग्रेडिएंट समस्या पैदा होती है जो गहरे ढेर में सीखने को रोक देती है। ReLU का नकारात्मक पक्ष ख़त्म हो रहा ReLU मुद्दा है, जहां न्यूरॉन्स हमेशा के लिए नकारात्मक इनपुट आउटपुट शून्य पर अटक जाते हैं; लीकी रेएलयू और जीईएलयू जैसे वेरिएंट एक छोटी या चिकनी गैर-शून्य प्रतिक्रिया की अनुमति देकर इसे संबोधित करते हैं।
सामरिक प्रभाव
स्पष्ट निर्णय
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
लागत और बजट
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
टीम और वर्कफ़्लो
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
सक्रियण कार्यों का भविष्य
ReLU और उसके सहज चचेरे भाई GELU आज हावी हैं, GELU ट्रांसफार्मर में पसंदीदा है क्योंकि इसका चिकना वक्र उनके प्रशिक्षण गतिशीलता के साथ अच्छी तरह से जुड़ता है। अनुसंधान स्विजीएलयू जैसी सीखी हुई और गेटेड सक्रियता का पता लगाता है, जो अब बड़े भाषा मॉडल में आम है, जो अभिव्यक्ति को बढ़ावा देने के लिए गुणक गेटिंग का उपयोग करता है। व्यापक रुझान सुचारू, गेटेड कार्यों की ओर है जो बड़े पैमाने पर ग्रेडिएंट प्रवाह और मॉडल गुणवत्ता में सुधार करता है। जबकि विदेशी गतिविधियाँ कागजों में नियमित रूप से दिखाई देती हैं, सरल, अच्छी तरह से व्यवहार किए जाने वाले कार्य व्यवहार में जीतते हैं क्योंकि वे विशाल मॉडलों में विश्वसनीय रूप से प्रशिक्षित होते हैं।
वास्तविक विश्व कार्यान्वयन
कनवल्शनल नेटवर्क की छिपी हुई परतों में ReLU का उपयोग करना ताकि यह छवि पहचान के लिए घुमावदार निर्णय सीमाएँ सीख सके
क्लासिफायर के कच्चे स्कोर को एक के योग वाली क्लास संभावनाओं में बदलने के लिए अंतिम परत पर सॉफ्टमैक्स लागू करना
सहज ग्रेडिएंट प्रवाह के लिए ट्रांसफॉर्मर भाषा मॉडल के अंदर GELU सक्रियणों का चयन करना
जब किसी नेटवर्क में बहुत सारे न्यूरॉन्स मर गए हों और प्रतिक्रिया देना बंद कर दिया हो तो लीकी ReLU पर स्विच करना
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
दस्तावेज़ जहां एक्टिवेशन फ़ंक्शंस मदद करता है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Activation Functions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
हानि कार्य
अक्सर पूछे जाने वाले प्रश्नों
What is Activation Functions?
सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के अंदर छोटे गैर-रेखीय द्वार होते हैं जो तंत्रिका नेटवर्क को केवल सीधी रेखाओं के बजाय जटिल, घुमावदार पैटर्न सीखने देते हैं। उनके बिना, एक गहरा नेटवर्क एक एकल रैखिक समीकरण में ढह जाएगा।
बिना किसी सक्रियण फ़ंक्शन वाले गहरे नेटवर्क का क्या होगा?
गैर-रैखिकता के बिना रैखिक परतों को स्टैक करना गणितीय रूप से एक रैखिक परिवर्तन में ढह जाता है, इसलिए नेटवर्क जटिल पैटर्न नहीं सीख सकता है।
नकारात्मक इनपुट के लिए ReLU सक्रियण फ़ंक्शन आउटपुट क्या करता है?
ReLU सकारात्मक होने पर इनपुट आउटपुट करता है और नकारात्मक होने पर शून्य आउटपुट देता है, जिससे गणना करना सरल और तेज़ हो जाता है।
सिग्मॉइड और टैन से जुड़ी लुप्त-क्रमिक समस्या क्या है?
सिग्मॉइड और टैन अपने चरम पर चपटे होते हैं, इसलिए उनकी ढाल शून्य की ओर सिकुड़ जाती है, जिससे गहरे नेटवर्क में त्रुटि संकेत कमजोर हो जाते हैं।
मल्टी-क्लास क्लासिफायरियर के आउटपुट लेयर पर आमतौर पर कौन सा सक्रियण फ़ंक्शन उपयोग किया जाता है?
सॉफ्टमैक्स कच्चे स्कोर को उन वर्गों पर संभाव्यता वितरण में परिवर्तित करता है जो वर्गीकरण आउटपुट के लिए आदर्श, एक के बराबर होता है।
'मरती हुई ReLU' समस्या क्या है?
यदि एक ReLU न्यूरॉन हमेशा नकारात्मक इनपुट प्राप्त करता है, तो यह शून्य ग्रेडिएंट के साथ शून्य आउटपुट देता है और प्रभावी रूप से अपडेट करना बंद कर देता है, इसलिए 'मर जाता है।'