बुनियादी गाइड
सक्रियण कार्य
सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के अंदर छोटे गैर-रेखीय द्वार होते हैं जो तंत्रिका नेटवर्क को केवल सीधी रेखाओं के बजाय जटिल, घुमावदार पैटर्न सीखने देते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~2 min
इस पृष्ठ पर2 मिनट लाल
सिंहावलोकन
Without them, a deep network would collapse into a single linear equation.
गहरा गोता
प्रत्येक न्यूरॉन अपने इनपुट के भारित योग की गणना करता है, लेकिन वह योग अकेला रैखिक होता है। कई रैखिक परतों को ढेर करें और, गणितीय रूप से, आपके पास अभी भी केवल एक बड़ा रैखिक कार्य होगा, चाहे कितना भी गहरा क्यों न हो। सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के आउटपुट में एक गैर-रेखीय परिवर्तन लागू करके इसे तोड़ता है, जिससे नेटवर्क को लगभग किसी भी फ़ंक्शन को अनुमानित करने की शक्ति मिलती है। सबसे लोकप्रिय ReLU है, जो सकारात्मक होने पर इनपुट को आउटपुट करता है और अन्यथा शून्य; यह तेज़ है और पुराने कार्यों की कुछ प्रशिक्षण समस्याओं से बचाता है। सिग्मॉइड और टैन स्क्वैश मान सीमित सीमाओं में हैं और ऐतिहासिक रूप से सामान्य थे, लेकिन गहरे नेटवर्क में लुप्त हो रहे ग्रेडिएंट से पीड़ित हो सकते हैं। आउटपुट पर उपयोग किया जाने वाला सॉफ्टमैक्स फ़ंक्शन, कच्चे स्कोर को कक्षाओं में संभाव्यता वितरण में परिवर्तित करता है।
वास्तविक विश्व कार्यान्वयन
कनवल्शनल नेटवर्क की छिपी हुई परतों में ReLU का उपयोग करना ताकि यह छवि पहचान के लिए घुमावदार निर्णय सीमाएँ सीख सके
क्लासिफायर के कच्चे स्कोर को एक के योग वाली क्लास संभावनाओं में बदलने के लिए अंतिम परत पर सॉफ्टमैक्स लागू करना
सहज ग्रेडिएंट प्रवाह के लिए ट्रांसफॉर्मर भाषा मॉडल के अंदर GELU सक्रियणों का चयन करना
जब किसी नेटवर्क में बहुत सारे न्यूरॉन्स मर गए हों और प्रतिक्रिया देना बंद कर दिया हो तो लीकी ReLU पर स्विच करना
सक्रियण कार्यों का भविष्य
ReLU और उसके सहज चचेरे भाई GELU आज हावी हैं, GELU ट्रांसफार्मर में पसंदीदा है क्योंकि इसका चिकना वक्र उनके प्रशिक्षण गतिशीलता के साथ अच्छी तरह से जुड़ता है। अनुसंधान स्विजीएलयू जैसी सीखी हुई और गेटेड सक्रियता का पता लगाता है, जो अब बड़े भाषा मॉडल में आम है, जो अभिव्यक्ति को बढ़ावा देने के लिए गुणक गेटिंग का उपयोग करता है। व्यापक रुझान सुचारू, गेटेड कार्यों की ओर है जो बड़े पैमाने पर ग्रेडिएंट प्रवाह और मॉडल गुणवत्ता में सुधार करता है। जबकि विदेशी गतिविधियाँ कागजों में नियमित रूप से दिखाई देती हैं, सरल, अच्छी तरह से व्यवहार किए जाने वाले कार्य व्यवहार में जीतते हैं क्योंकि वे विशाल मॉडलों में विश्वसनीय रूप से प्रशिक्षित होते हैं।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- स्पष्ट निर्णय. यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
- लागत और बजट. आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
- टीम और वर्कफ़्लो. साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
का ध्यान रखें
- अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
- बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
- डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
अगले चरण
- आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
- परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
- प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
- दस्तावेज़ जहां एक्टिवेशन फ़ंक्शंस मदद करता है और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Activation Functions quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
What is Activation Functions?
सक्रियण फ़ंक्शन प्रत्येक न्यूरॉन के अंदर छोटे गैर-रेखीय द्वार होते हैं जो तंत्रिका नेटवर्क को केवल सीधी रेखाओं के बजाय जटिल, घुमावदार पैटर्न सीखने देते हैं। उनके बिना, एक गहरा नेटवर्क एक एकल रैखिक समीकरण में ढह जाएगा।
Why can stacking only linear layers not learn a curved decision boundary?
Without nonlinear activations, multiple linear layers compose to another linear mapping.
Why can sigmoid and tanh stall learning in deep networks when inputs reach their extremes?
At their flat extremes, their near-zero gradients weaken the backpropagated signal.
A multiclass classifier needs output values that sum to one across classes. Which function does the guide use?
Softmax turns raw class scores into a probability distribution over classes.
What does the “dying ReLU” problem mean in the guide?
A ReLU stuck receiving negative inputs can keep outputting zero, preventing useful updates through that unit.
Which variant is suggested when many ReLU units stay inactive?
The guide names Leaky ReLU as a response to dead units because its negative side is not flat at zero.
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं