خلايا الذاكرة الطويلة وقصيرة المدى
خلايا الذاكرة الطويلة قصيرة المدى (LSTM) هي نوع خاص من وحدات الشبكة العصبية المتكررة المصممة لتذكر المعلومات عبر تسلسلات طويلة.
نظرة عامة
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
الغوص العميق
تحافظ خلية LSTM، التي قدمها سيب هوشرايتر ويورجن شميدهوبر في عام 1997، على "حالة الخلية" التي تعمل كحزام ناقل للذاكرة يمر عبر التسلسل. تتحكم فيها ثلاث بوابات تعلمية: بوابة النسيان تقرر ما سيتم محوه، وبوابة الإدخال تقرر ما هي المعلومات الجديدة التي سيتم تخزينها، وبوابة الإخراج تقرر ما سيتم كشفه كمخرج للخلية. تستخدم كل بوابة سيني (إخراج 0 إلى 1) ليكون بمثابة مفتاح ناعم. نظرًا لأنه يتم تحديث حالة الخلية في الغالب عن طريق الجمع بدلاً من الضرب المتكرر، يمكن أن تتدفق التدرجات للخلف على مدار عدة خطوات زمنية دون أن تتقلص إلى الصفر، مما يسمح لـ LSTMs بتعلم التبعيات على بعد مئات الخطوات. قبل Transformers، كانت LSTMs تدعم Google الترجمة والتعرف على الكلام وإنشاء النص.
البصيرة الفنية
يأتي إصلاح التدرج التلاشي من التحديث شبه الخطي لحالة الخلية: c_t = f_t * c_{t-1} + i_t * g_t. يمكن أن تظل بوابة النسيان f_t (السيني) بالقرب من 1، مما يؤدي إلى إنشاء "دائرة خطأ ثابتة" بحيث تظل إشارات الخطأ على قيد الحياة من خلال الانتشار العكسي عبر الزمن عبر فترات طويلة. البوابات هي في حد ذاتها طبقات عصبية صغيرة (سيني للبوابة، وتان للقيم المرشحة)، وكلها مدربة بشكل مشترك عن طريق النسب المتدرج. تتيح هذه البوابة للشبكة معرفة ما يجب الاحتفاظ به وما يجب التخلص منه.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل خلايا الذاكرة الطويلة وقصيرة المدى
لقد تفوقت المحولات إلى حد كبير على LSTMs في المهام اللغوية واسعة النطاق لأنها تتوازي عبر تسلسل وتلتقط سياقًا طويل المدى من خلال الانتباه، في حين تقوم LSTMs بمعالجة الرموز المميزة خطوة واحدة في كل مرة. ومع ذلك، تظل LSTMs ذات قيمة للبث، وزمن الوصول المنخفض، والإعدادات المحدودة الموارد، وعلى بيانات السلاسل الزمنية المتواضعة. تعمل الأعمال الحديثة مثل xLSTM (2024) على إعادة النظر في البنية وتحديثها باستخدام بوابة وذاكرة جديدة للتنافس على نطاق واسع، مما يوضح أن الفكرة لم تنته بعد.
التنفيذ في العالم الحقيقي
تشغيل الترجمة الآلية في وقت مبكر Google النظام العصبي للترجمة قبل تولي Transformers المسؤولية.
التعرف على الكلام إلى نص في المساعدين الصوتيين وبرامج الإملاء.
التنبؤ بالقيم المستقبلية في السلاسل الزمنية مثل الطلب على الطاقة، أو قراءات أجهزة الاستشعار، أو أسعار الأسهم.
إنشاء نص أو موسيقى رمزًا واحدًا في كل مرة وإكمال التسلسل تلقائيًا.
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث تساعد خلايا الذاكرة طويلة المدى وحيث تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
إدارة ذاكرة GPU وتجزئةها
الأسئلة المتداولة
What is Long Short-Term Memory Cells?
خلايا الذاكرة الطويلة قصيرة المدى (LSTM) هي نوع خاص من وحدات الشبكة العصبية المتكررة المصممة لتذكر المعلومات عبر تسلسلات طويلة. لقد قاموا بحل مشكلة التدرج المتلاشي التي أعاقت شبكات RNN السابقة، مما أدى إلى تحقيق عقد من التقدم في اللغة والكلام والترجمة.
ما هي البوابات الثلاث التي تتحكم في تدفق المعلومات في خلية LSTM القياسية؟
يستخدم LSTM بوابة نسيان (ما يجب مسحه)، وبوابة إدخال (ما يجب تخزينه)، وبوابة إخراج (ما يجب كشفه)، كل منها عبارة عن سيني مكتسب.
ما هي المشكلة الرئيسية التي حلتها LSTMs في شبكات RNN السابقة؟
تعاني شبكات RNN القياسية من تلاشي التدرجات التي تمنع تعلم التبعيات طويلة المدى؛ تتيح حالة الخلية المضافة لـ LSTM استمرار التدرجات.
من قدم LSTM وفي أي عام؟
قام سيب هوخريتر ويورجن شميدهوبر بنشر LSTM في عام 1997.
لماذا تساعد حالة الخلية LSTM التدرجات على البقاء على مدى خطوات زمنية عديدة؟
يتجنب التحديث الإضافي ("دائرة الأخطاء الثابتة") الضربات المتكررة التي تؤدي إلى تقليص التدرجات، لذلك تتدفق إشارات الخطأ مرة أخرى على مدى فترات طويلة.
ما هي وظيفة التنشيط التي تستخدمها بوابات LSTM عادةً لتكون بمثابة مفاتيح تشغيل/إيقاف تشغيل ناعمة؟
يستخدم البوابات السيني، الذي يعمل مخرجه من 0 إلى 1 على قياس كمية المعلومات التي يتم تمريرها، ويعمل مثل المفتاح الناعم.