दीर्घकालिक अल्पकालिक स्मृति कोशिकाएँ
लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) कोशिकाएं एक विशेष प्रकार की आवर्ती तंत्रिका नेटवर्क इकाई हैं जो लंबे अनुक्रमों में जानकारी को याद रखने के लिए बनाई गई हैं।
सिंहावलोकन
उन्होंने लुप्त-ढाल की समस्या को हल किया जिसने पहले के आरएनएन को अपंग कर दिया था, जिससे भाषा, भाषण और अनुवाद में एक दशक की सफलता मिली।
गहरा गोता
1997 में सेप होक्रेइटर और जुर्गन श्मिडहुबर द्वारा प्रस्तुत, LSTM सेल एक 'सेल स्थिति' बनाए रखता है जो अनुक्रम के माध्यम से चलने वाली मेमोरी के कन्वेयर बेल्ट की तरह कार्य करता है। तीन सीखे हुए गेट इसे नियंत्रित करते हैं: भूलने वाला गेट तय करता है कि क्या मिटाना है, इनपुट गेट तय करता है कि कौन सी नई जानकारी संग्रहीत करनी है, और आउटपुट गेट तय करता है कि सेल के आउटपुट के रूप में क्या उजागर करना है। सॉफ्ट स्विच के रूप में कार्य करने के लिए प्रत्येक गेट एक सिग्मॉइड (0 से 1 आउटपुट) का उपयोग करता है। क्योंकि सेल स्थिति को बार-बार गुणा करने के बजाय ज्यादातर जोड़कर अद्यतन किया जाता है, ग्रेडिएंट शून्य तक सिकुड़े बिना कई समय चरणों में पीछे की ओर प्रवाहित हो सकते हैं, जिससे LSTM सैकड़ों कदमों के अंतर पर निर्भरता सीख सकते हैं। ट्रांसफॉर्मर से पहले, LSTM ने Google अनुवाद, वाक् पहचान और पाठ निर्माण को रेखांकित किया।
तकनीकी अंतर्दृष्टि
लुप्त-ग्रेडिएंट फिक्स सेल स्थिति के निकट-रेखीय अद्यतन से आता है: c_t = f_t * c_{t-1} + i_t * g_t। फ़ॉरगेट गेट f_t (एक सिग्मॉइड) 1 के पास रह सकता है, जिससे 'निरंतर त्रुटि हिंडोला' बनता है, इसलिए त्रुटि संकेत लंबे समय तक बैकप्रॉपैगेशन-थ्रू-टाइम तक जीवित रहते हैं। गेट्स स्वयं छोटी तंत्रिका परतें हैं (गेटिंग के लिए सिग्मॉइड, उम्मीदवार मूल्यों के लिए टैन), सभी को ग्रेडिएंट डिसेंट द्वारा संयुक्त रूप से प्रशिक्षित किया जाता है। यह गेटिंग नेटवर्क को यह सीखने देती है कि क्या रखना है और क्या छोड़ना है।
सामरिक प्रभाव
स्पष्ट निर्णय
यह आपको स्पष्ट तकनीकी दावों को मार्केटिंग भाषा से अलग करने में मदद करता है।
लागत और बजट
आप पैसा या समय खर्च करने से पहले बेहतर कार्यान्वयन संबंधी प्रश्न पूछ सकते हैं।
टीम और वर्कफ़्लो
साझा समझ वाली टीमें बेहतर उत्पाद, नीति और सीखने के निर्णय लेती हैं।
दीर्घकालिक अल्पकालिक स्मृति कोशिकाओं का भविष्य
ट्रांसफॉर्मर ने बड़े पैमाने पर भाषा कार्यों के लिए LSTM को काफी हद तक पीछे छोड़ दिया है क्योंकि वे एक अनुक्रम में समानांतर होते हैं और ध्यान के माध्यम से लंबी दूरी के संदर्भ को पकड़ते हैं, जबकि LSTM एक समय में एक चरण में टोकन की प्रक्रिया करते हैं। फिर भी, LSTM स्ट्रीमिंग, कम-विलंबता और संसाधन-बाधित सेटिंग्स और मामूली समय-श्रृंखला डेटा के लिए मूल्यवान बने हुए हैं। एक्सएलएसटीएम (2024) जैसे हालिया कार्य ने बड़े पैमाने पर प्रतिस्पर्धा करने के लिए नई गेटिंग और मेमोरी के साथ वास्तुकला का पुन: निरीक्षण और आधुनिकीकरण किया है, जिससे पता चलता है कि विचार समाप्त नहीं हुआ है।
वास्तविक विश्व कार्यान्वयन
ट्रांसफॉर्मर्स के कार्यभार संभालने से पहले Google ट्रांसलेशन के तंत्रिका तंत्र में पावरिंग मशीन अनुवाद।
ध्वनि सहायकों और श्रुतलेख सॉफ़्टवेयर में वाक्-से-पाठ पहचान।
समय श्रृंखला में भविष्य के मूल्यों जैसे ऊर्जा मांग, सेंसर रीडिंग, या स्टॉक की कीमतों की भविष्यवाणी करना।
एक समय में एक टोकन से पाठ या संगीत उत्पन्न करना और अनुक्रमों को स्वतः पूर्ण करना।
जोखिम और रेलिंग
अलग-अलग टीमें एक ही शब्द का अलग-अलग इस्तेमाल कर सकती हैं, इसलिए दायरे को पहले ही परिभाषित कर लें।
बेंचमार्क मजबूत दिख सकते हैं जबकि वास्तविक दुनिया का प्रदर्शन असमान है।
डेटा गुणवत्ता और मूल्यांकन योजनाओं की अनदेखी अक्सर नाजुक परिणाम पैदा करती है।
कार्यान्वयन रोडमैप
आपको जिस परिणाम की आवश्यकता है उसकी सरल भाषा में परिभाषा से शुरुआत करें।
परीक्षण से पहले एक सफलता मीट्रिक और एक विफलता स्थिति चुनें।
प्रतिनिधि डेटा के साथ एक छोटा पायलट चलाएँ, न कि एक परिष्कृत डेमो सेट।
दस्तावेज़ जहां दीर्घकालिक अल्पकालिक मेमोरी कोशिकाएं मदद करती हैं और जहां सरल तरीके बेहतर हैं।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
जीपीयू मेमोरी प्रबंधन और विखंडन
अक्सर पूछे जाने वाले प्रश्नों
लॉन्ग शॉर्ट-टर्म मेमोरी सेल क्या है?
लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) कोशिकाएं एक विशेष प्रकार की आवर्ती तंत्रिका नेटवर्क इकाई हैं जो लंबे अनुक्रमों में जानकारी को याद रखने के लिए बनाई गई हैं। उन्होंने भाषा, भाषण और अनुवाद में एक दशक की सफलताओं को शक्ति प्रदान करते हुए, पहले के आरएनएन को पंगु बनाने वाली लुप्त-क्रमिक समस्या को हल किया।
मानक LSTM सेल में कौन से तीन द्वार सूचना प्रवाह को नियंत्रित करते हैं?
LSTM एक भूल गेट (क्या मिटाना है), एक इनपुट गेट (क्या संग्रहीत करना है), और एक आउटपुट गेट (क्या उजागर करना है) का उपयोग करता है, प्रत्येक एक सीखा हुआ सिग्मॉइड है।
LSTM ने पहले के RNN की कौन सी बड़ी समस्या हल की?
मानक आरएनएन लुप्त हो रहे ग्रेडिएंट से पीड़ित हैं जो लंबी दूरी की निर्भरता सीखने में बाधा डालते हैं; LSTM की एडिटिव सेल स्थिति ग्रेडिएंट्स को बने रहने देती है।
LSTM की शुरुआत किसने और किस वर्ष की?
सेप होक्रेइटर और जुर्गन श्मिधुबर ने 1997 में LSTM प्रकाशित किया।
LSTM सेल स्थिति ग्रेडिएंट्स को कई समय चरणों में जीवित रहने में मदद क्यों करती है?
योगात्मक अद्यतन ('निरंतर त्रुटि हिंडोला') ग्रेडिएंट को कम करने वाले बार-बार होने वाले गुणन से बचता है, इसलिए त्रुटि संकेत लंबे समय तक वापस प्रवाहित होते हैं।
LSTM गेट आमतौर पर सॉफ्ट ऑन/ऑफ स्विच के रूप में कार्य करने के लिए किस सक्रियण फ़ंक्शन का उपयोग करते हैं?
गेट्स एक सिग्मॉइड का उपयोग करते हैं, जिसका 0-टू-1 आउटपुट मापता है कि कितनी जानकारी गुजरती है, एक सॉफ्ट स्विच की तरह काम करती है।