À suivreGuide suivant
Comment transformer de longues vidéos en courts métrages avec l'IA
IA visuelle
GUIDE des fondamentaux
Cellules de mémoire à long terme et à court terme
Long Short-Term Memory (LSTM) cells are recurrent units designed to help preserve information and error flow across long sequences.
Écoutez ce guideNarré par l'IA · ~3 min
Sur cette page3 minutes de lecture
Aperçu
Their gated cell state can mitigate difficulties that vanilla RNNs face with long-range dependencies, but LSTMs do not eliminate every vanishing-gradient condition or guarantee perfect long-term retention.
Plongée profonde
Introduced by Sepp Hochreiter and Jürgen Schmidhuber in 1997, LSTM was designed to help recurrent networks learn long time dependencies despite gradient-flow difficulties. The original 1997 architecture used memory cells with input and output gates and a constant error carousel; it did not include the now familiar forget gate. Gers, Schmidhuber, and Cummins introduced an adaptive forget gate in 2000 for continual prediction, allowing a cell to reset stored state when appropriate. In common modern three-gate variants, forget, input, and output gates regulate retention, writing, and exposure. The gates commonly use sigmoid activations, which produce values between zero and one. A typical cell update is c_t = f_t * c_(t-1) + i_t * g_t. The additive cell-state path can make gradient flow more favorable than repeatedly multiplying through ordinary recurrent transformations, but it does not guarantee gradients never shrink or that every dependency hundreds of steps away will be learned. Performance depends on gate behavior, model configuration, data, and optimization. At each time step, the recurrent unit also computes a hidden state from the exposed cell content; downstream layers use this representation for prediction. Gate activations are learned from task data, so a model may choose to retain, update, or expose different information at different positions. This controlled path supports memory, but actual long-range behavior must be measured on the sequence lengths and task of interest. LSTMs have been used in sequence tasks such as speech recognition, translation, and time-series prediction, though the details of each deployed system vary.
Mise en œuvre dans le monde réel
Alimenter la traduction automatique au début du système neuronal de Google Translate avant que Transformers ne prenne le relais.
Reconnaissance parole-texte dans les assistants vocaux et les logiciels de dictée.
Prédire les valeurs futures dans des séries chronologiques telles que la demande d'énergie, les relevés de capteurs ou les cours des actions.
Génération de texte ou de musique un jeton à la fois et séquences de saisie semi-automatique.
L’avenir des cellules mémoire à long terme
Transformers have largely overtaken LSTMs for large-scale language tasks because they parallelize across a sequence and capture long-range context via attention, whereas LSTMs process tokens one step at a time. Still, LSTMs remain valuable for streaming, low-latency, and resource-constrained settings, and on modest time-series data. Recent work like xLSTM (2024) revisits and modernizes the architecture with new gating and memory to compete at scale, showing the idea is not finished. Comparisons should report actual latency, memory use, task and sequence lengths rather than assuming one architecture wins everywhere.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où les cellules de mémoire à long terme et à court terme sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Long Short-Term Memory Cells quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que les cellules à mémoire longue et courte durée ?
Long Short-Term Memory (LSTM) cells are recurrent units designed to help preserve information and error flow across long sequences. Their gated cell state can mitigate difficulties that vanilla RNNs face with long-range dependencies, but LSTMs do not eliminate every vanishing-gradient condition or guarantee perfect long-term retention.
In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
Common modern three-gate variants use forget, input, and output gates; the original 1997 formulation preceded the forget gate, which Gers and colleagues introduced in 2000.
What training difficulty was LSTM designed to mitigate?
The original LSTM was designed to improve gradient flow and address difficulty learning long time dependencies; it does not eliminate every vanishing-gradient condition.
Qui a introduit le LSTM et en quelle année ?
Sepp Hochreiter et Jurgen Schmidhuber ont publié le LSTM en 1997.
In a common LSTM cell update, why can the additive cell-state path help gradient flow?
The additive route can help preserve error signals when gate values allow it, but does not guarantee that gradients never shrink.
Quelle fonction d'activation les portails LSTM utilisent-ils généralement pour agir comme des interrupteurs marche/arrêt progressifs ?
Les portes utilisent un sigmoïde, dont la sortie 0 à 1 met à l'échelle la quantité d'informations transmises, agissant comme un commutateur logiciel.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet