የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች
የረጅም ጊዜ የአጭር ጊዜ ማህደረ ትውስታ (LSTM) ሴሎች በረጅም ጊዜ ቅደም ተከተሎች ላይ መረጃን ለማስታወስ የተገነቡ ልዩ ዓይነት ተደጋጋሚ የነርቭ አውታረ መረብ ክፍሎች ናቸው።
አጠቃላይ እይታ
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
ጥልቅ ዳይቭ
በ1997 በሴፕ ሆችሬተር እና ዩርገን ሽሚድሁበር የተዋወቀው የኤልኤስቲኤም ሴል እንደ ማጓጓዣ የማስታወሻ ቀበቶ ሆኖ የሚያገለግል 'የሴል ሁኔታ' ይይዛል። ሶስት የተማሩ በሮች ይቆጣጠራሉ፡ የመርሳቱ በር የሚደመስሰውን ይወስናል፣ የግብአት በሩ ምን አዲስ መረጃ እንደሚከማች ይወስናል እና የውጤት በር ምን እንደ ሴሉ ውፅዓት መጋለጥ እንዳለበት ይወስናል። እያንዳንዱ በር እንደ ለስላሳ ማብሪያ / ማጥፊያ ሆኖ ለመስራት ሲግሞይድ (ከ0 እስከ 1 የሚወጣ) ይጠቀማል። የሕዋስ ሁኔታ የሚዘመነው ደጋግሞ ከማባዛት ይልቅ በመደመር፣ ቀስ በቀስ ወደ ዜሮ ሳይቀንስ ለብዙ ጊዜ ደረጃዎች ወደ ኋላ ሊፈስ ስለሚችል፣ LSTMs ጥገኝነቶችን በመቶዎች የሚቆጠሩ ደረጃዎች እንዲማሩ ያስችላቸዋል። ከTransformers በፊት፣ LSTMዎች Google መተርጎምን፣ የንግግር ማወቂያን እና የጽሑፍ ማመንጨትን ደግፈዋል።
ቴክኒካዊ ግንዛቤ
የቫኒሽንግ-ግራዲየንት ማስተካከያ የሚመጣው ከሴል ግዛት ቅርብ-መስመራዊ ዝማኔ፡ c_t = f_t * c_{t-1} + i_t * g_t። የመርሳት በር f_t (ሲግሞይድ) 1 አጠገብ ሊቆይ ይችላል፣ ይህም 'የማያቋርጥ ስህተት ካሮሴል' ይፈጥራል ስለዚህ የስህተት ምልክቶች ከኋላ መባዛት-በረጅም ጊዜ ውስጥ ይተርፋሉ። ጌትስ እራሳቸው ትናንሽ የነርቭ ንብርብሮች (ሲግሞይድ ለጌትንግ፣ ታንህ ለእጩ እሴቶች) ናቸው፣ ሁሉም በቅልጥፍና ውረድ በጋራ የሰለጠኑ ናቸው። ይህ ጌቲንግ አውታረ መረቡ ምን እንደሚይዝ እና ምን እንደሚጥለው እንዲያውቅ ያስችለዋል።
ስልታዊ ተጽእኖ
ግልጽ ውሳኔዎች
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።
ወጪ እና በጀት
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።
ቡድን እና የስራ ፍሰት
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች የወደፊት ዕጣ
ትራንስፎርመሮች ለትላልቅ የቋንቋ ስራዎች LSTMን በብዛት አልፈዋል ምክንያቱም በቅደም ተከተል ትይዩ ስለሆኑ እና የረዥም ጊዜ አውድ በትኩረት ይያዛሉ፣ የኤልኤስቲኤም አሰራር ግን አንድ እርምጃ በአንድ ጊዜ ያሳያል። አሁንም፣ ኤል.ኤስ.ኤም.ኤስ ለዥረት፣ ለአነስተኛ መዘግየት እና በንብረት ለተገደቡ ቅንጅቶች እና በመጠኑ ተከታታይ ውሂብ ላይ ጠቃሚ ሆነው ይቆያሉ። እንደ xLSTM (2024) ያሉ የቅርብ ጊዜ ስራዎች አርክቴክቸርን በአዲስ ጌቲንግ እና ሜሞሪ በመመዘን ለመወዳደር ያሻሽለዋል፣ ይህም ሀሳቡ እንዳልተጠናቀቀ ያሳያል።
የእውነተኛ-ዓለም አተገባበር
የማሽን ትርጉም በGoogle መጀመሪያ ላይ ትራንስፎርመሮች ከመረከባቸው በፊት ተርጉም የነርቭ ስርዓት።
በድምጽ ረዳቶች እና የቃላት መፍቻ ሶፍትዌር ውስጥ የንግግር-ወደ-ጽሑፍ ማወቂያ።
እንደ የኃይል ፍላጎት፣ የዳሳሽ ንባቦች ወይም የአክሲዮን ዋጋዎች ባሉ ተከታታይ ጊዜ ውስጥ የወደፊት እሴቶችን መተንበይ።
ጽሑፍ ወይም ሙዚቃ በአንድ ጊዜ አንድ ማስመሰያ ማመንጨት እና ቅደም ተከተሎችን በራስ-ማጠናቀቅ።
አደጋዎች እና የጥበቃ መንገዶች
የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።
የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።
የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.
የትግበራ ፍኖተ ካርታ
የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።
ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።
አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።
የረጅም ጊዜ የአጭር ጊዜ የማህደረ ትውስታ ህዋሶች የሚረዱበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የጂፒዩ ማህደረ ትውስታ አስተዳደር እና መከፋፈል
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Long Short-Term Memory Cells?
የረጅም ጊዜ የአጭር ጊዜ ማህደረ ትውስታ (LSTM) ሴሎች በረጅም ጊዜ ቅደም ተከተሎች ላይ መረጃን ለማስታወስ የተገነቡ ልዩ ዓይነት ተደጋጋሚ የነርቭ አውታረ መረብ ክፍሎች ናቸው። በቋንቋ፣ በንግግር እና በትርጉም ውስጥ አስርት አመታትን ያስመዘገቡ ስኬቶችን በማጎልበት የቀደምት አርኤንኤን ያዳከመውን እየጠፋ ያለውን ቀስ በቀስ ችግር ፈቱ።
በመደበኛ LSTM ሕዋስ ውስጥ የመረጃ ፍሰትን የሚቆጣጠሩት የትኞቹ ሶስት በሮች ናቸው?
LSTM የመርሳት በር (ምን እንደሚሰረዝ)፣ የግቤት በር (ምን እንደሚከማች) እና የውጤት በር (ምን እንደሚጋለጥ) እያንዳንዱ የተማረ ሲግሞይድ ይጠቀማል።
ኤል.ኤስ.ኤም.ኤስ ከቀደምት አርኤንኤን ምን ዋና ችግር ፈቱ?
መደበኛ RNNs የረጅም ጊዜ ጥገኝነቶችን መማርን የሚከለክሉ የመጥፋት ቀስ በቀስ ይሰቃያሉ። የ LSTM ተጨማሪ ሕዋስ ሁኔታ ቀስ በቀስ እንዲቀጥሉ ያስችላቸዋል።
LSTMን ማን አስተዋወቀ እና በየትኛው አመት?
ሴፕ ሆችሬተር እና ዩርገን ሽሚዱበር LSTMን በ1997 አሳትመዋል።
ለምንድነው የኤልኤስቲኤም ሴል ሁኔታ ቀስ በቀስ ለብዙ ጊዜ እርምጃዎች እንዲተርፉ የሚረዳው?
ተጨማሪው ማሻሻያ ('የቋሚ ስሕተት ካርውሰል') ድግግሞሾችን የሚቀንሱትን ተደጋጋሚ ብዜቶች ያስወግዳል፣ ስለዚህ የስህተት ምልክቶች በረጅም ጊዜ ውስጥ ወደ ኋላ ይመለሳሉ።
የኤልኤስቲኤም በሮች እንደ ለስላሳ ማብሪያ/ማጥፊያዎች ምን ዓይነት የማግበር ተግባር ይጠቀማሉ?
ጌትስ ሲግሞይድ ይጠቀማል፣ የ0-ለ1 የውጤት መጠኑ ምን ያህል መረጃ እንደሚያልፍ የሚለካው እንደ ለስላሳ መቀየሪያ ነው።