የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች
የረጅም ጊዜ የአጭር ጊዜ ማህደረ ትውስታ (LSTM) ሴሎች በረጅም ጊዜ ቅደም ተከተሎች ላይ መረጃን ለማስታወስ የተገነቡ ልዩ ዓይነት ተደጋጋሚ የነርቭ አውታረ መረብ ክፍሎች ናቸው።
አጠቃላይ እይታ
የረጅም ጊዜ የአጭር ጊዜ ማህደረ ትውስታ (LSTM) ሴሎች በረጅም ጊዜ ቅደም ተከተሎች ላይ መረጃን ለማስታወስ የተገነቡ ልዩ ዓይነት ተደጋጋሚ የነርቭ አውታረ መረብ ክፍሎች ናቸው። በቋንቋ፣ በንግግር እና በትርጉም ውስጥ አስርት አመታትን ያስመዘገቡ ስኬቶችን በማጎልበት የቀደምት አርኤንኤን ያዳከመውን እየጠፋ ያለውን ቀስ በቀስ ችግር ፈቱ።
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ህዋሶች በዋናው AI የመሳሪያ ስብስብ ውስጥ ይቀመጣሉ። ሲረዱት ሌሎች AI ርዕሶች ለመገምገም እና ለማነጻጸር ቀላል ይሆናሉ።
ጥልቅ ዳይቭ
በ1997 በሴፕ ሆችሬተር እና ዩርገን ሽሚድሁበር የተዋወቀው የኤልኤስቲኤም ሴል እንደ ማጓጓዣ የማስታወሻ ቀበቶ ሆኖ የሚያገለግል 'የሴል ሁኔታ' ይይዛል። ሶስት የተማሩ በሮች ይቆጣጠራሉ፡ የመርሳቱ በር የሚደመስሰውን ይወስናል፣ የግብአት በሩ ምን አዲስ መረጃ እንደሚከማች ይወስናል እና የውጤት በር ምን እንደ ሴሉ ውፅዓት መጋለጥ እንዳለበት ይወስናል። እያንዳንዱ በር እንደ ለስላሳ ማብሪያ / ማጥፊያ ሆኖ ለመስራት ሲግሞይድ (ከ0 እስከ 1 የሚወጣ) ይጠቀማል። የሕዋስ ሁኔታ የሚዘመነው ደጋግሞ ከማባዛት ይልቅ በመደመር፣ ቀስ በቀስ ወደ ዜሮ ሳይቀንስ ለብዙ ጊዜ ደረጃዎች ወደ ኋላ ሊፈስ ስለሚችል፣ LSTMs ጥገኝነቶችን በመቶዎች የሚቆጠሩ ደረጃዎች እንዲማሩ ያስችላቸዋል። ከTransformers በፊት፣ LSTMዎች Google መተርጎምን፣ የንግግር ማወቂያን እና የጽሑፍ ማመንጨትን ደግፈዋል።
ቴክኒካዊ ግንዛቤ
የቫኒሽንግ-ግራዲየንት ማስተካከያ የሚመጣው ከሴል ግዛት ቅርብ-መስመራዊ ዝማኔ፡ c_t = f_t * c_{t-1} + i_t * g_t። የመርሳት በር f_t (ሲግሞይድ) 1 አጠገብ ሊቆይ ይችላል፣ ይህም 'የማያቋርጥ ስህተት ካሮሴል' ይፈጥራል ስለዚህ የስህተት ምልክቶች ከኋላ መባዛት-በረጅም ጊዜ ውስጥ ይተርፋሉ። ጌትስ እራሳቸው ትናንሽ የነርቭ ንብርብሮች (ሲግሞይድ ለጌትንግ፣ ታንህ ለእጩ እሴቶች) ናቸው፣ ሁሉም በቅልጥፍና ውረድ በጋራ የሰለጠኑ ናቸው። ይህ ጌቲንግ አውታረ መረቡ ምን እንደሚይዝ እና ምን እንደሚጥለው እንዲያውቅ ያስችለዋል።
የረጅም ጊዜ የአጭር ጊዜ የማህደረ ትውስታ ሴሎችን መቆጣጠር
ጥልቅ ግንዛቤን ለመገንባት የረጅም ጊዜ የአጭር ጊዜ የማህደረ ትውስታ ህዋሶችን እንደ አንድ ባህሪ ሳይሆን እንደ ኦፕሬሽን ሞዴል አድርገው ይያዙ። የተፈለገውን ውጤት ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ በአስተማማኝ ሁኔታ ምን ማድረግ እንደሚችል አሁንም የባለሙያዎችን ውሳኔ ከሚያስፈልገው ይለዩ።
በተግባር፣ የረጅም ጊዜ የአጭር ጊዜ የማህደረ ትውስታ ህዋሶችን የሚጠቀሙ ጠንካራ ቡድኖች መጀመሪያ ጠንካራ ሃሳባዊ ሞዴሎችን ይገነባሉ፣ ከዚያም እነዚያን ሞዴሎች ወደ እውነተኛ የምርት ገደቦች ይቀርጻሉ። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል። በተመሳሳይ ጊዜ፣ የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል።
ግልጽ ቴክኒካዊ የይገባኛል ጥያቄዎችን ከገበያ ቋንቋ እንዲለዩ ያግዝዎታል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ።
ገንዘብን ወይም ጊዜን ከማጥፋትዎ በፊት የተሻሉ የትግበራ ጥያቄዎችን መጠየቅ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ።
የጋራ ግንዛቤ ያላቸው ቡድኖች የተሻለ ምርት፣ ፖሊሲ እና የመማር ውሳኔዎችን ያደርጋሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
የማሽን ትርጉም በGoogle መጀመሪያ ላይ ትራንስፎርመሮች ከመረከባቸው በፊት ተርጉም የነርቭ ስርዓት።
በድምጽ ረዳቶች እና የቃላት መፍቻ ሶፍትዌር ውስጥ የንግግር-ወደ-ጽሑፍ ማወቂያ።
እንደ የኃይል ፍላጎት፣ የዳሳሽ ንባቦች ወይም የአክሲዮን ዋጋዎች ባሉ ተከታታይ ጊዜ ውስጥ የወደፊት እሴቶችን መተንበይ።
ጽሑፍ ወይም ሙዚቃ በአንድ ጊዜ አንድ ማስመሰያ ማመንጨት እና ቅደም ተከተሎችን በራስ-ማጠናቀቅ።
የትግበራ ቅጦች
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች በተግባር
የማሽን ትርጉም በGoogle መጀመሪያ ላይ ትራንስፎርመሮች ከመረከባቸው በፊት ተርጉም የነርቭ ስርዓት።
ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች በተግባር
በድምጽ ረዳቶች እና የቃላት መፍቻ ሶፍትዌር ውስጥ የንግግር-ወደ-ጽሑፍ ማወቂያ።
ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች በተግባር
እንደ የኃይል ፍላጎት፣ የዳሳሽ ንባቦች ወይም የአክሲዮን ዋጋዎች ባሉ ተከታታይ ጊዜ ውስጥ የወደፊት እሴቶችን መተንበይ።
ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
የረጅም ጊዜ የአጭር ጊዜ የማስታወሻ ሴሎች በተግባር
ጽሑፍ ወይም ሙዚቃ በአንድ ጊዜ አንድ ማስመሰያ ማመንጨት እና ቅደም ተከተሎችን በራስ-ማጠናቀቅ።
ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ፣ የሰው ልጅ መሻሻል መንገድን ለዳር ጉዳዮች ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ሲከታተሉ የተሻለ ውጤት ያገኛሉ።
አደጋዎች እና የጥበቃ መንገዶች
የተለያዩ ቡድኖች ተመሳሳይ ቃል በተለያየ መንገድ ሊጠቀሙ ይችላሉ፣ ስለዚህ ወሰንን ቀደም ብለው ይግለጹ።
የገሃዱ ዓለም አፈጻጸም ያልተስተካከለ ሆኖ ሳለ ማመሳከሪያዎች ጠንካራ ሊመስሉ ይችላሉ።
የውሂብ ጥራት እና የግምገማ እቅዶችን ችላ ማለት ብዙውን ጊዜ ደካማ ውጤቶችን ይፈጥራል.
የትግበራ ፍኖተ ካርታ
የሚፈልጉትን ውጤት በግልፅ ቋንቋ ትርጉም ይጀምሩ።
ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከመሞከርዎ በፊት አንድ የስኬት መለኪያ እና አንድ የውድቀት ሁኔታ ይምረጡ።
ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
አንድ ትንሽ አብራሪ በተወካይ ውሂብ ያሂዱ እንጂ የተጣራ ማሳያ ስብስብ አይደለም።
ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
የረጅም ጊዜ የአጭር ጊዜ የማህደረ ትውስታ ህዋሶች የሚረዱበት እና ቀላል ዘዴዎች የተሻሉበት ሰነድ።
ይህንን እንደ የማስረጃ በር ይያዙት፡ መስፈርቶቹ ካልተሟሉ፣ መልቀቅን ለአፍታ ያቁሙ፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ማሰስዎን ይቀጥሉ
Check your understanding
Test yourself: take the Long Short-Term Memory Cells quiz