Células de memoria a corto plazo
Las células de memoria larga a corto plazo (LSTM) son un tipo especial de unidad de red neuronal recurrente creada para recordar información a través de secuencias largas.
Descripción general
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
Buceo profundo
Introducida por Sepp Hochreiter y Jurgen Schmidhuber en 1997, la celda LSTM mantiene un "estado celular" que actúa como una cinta transportadora de memoria que recorre la secuencia. Tres puertas aprendidas lo controlan: la puerta de olvido decide qué borrar, la puerta de entrada decide qué nueva información almacenar y la puerta de salida decide qué exponer como salida de la celda. Cada puerta utiliza un sigmoide (que genera 0 a 1) para actuar como un interruptor suave. Debido a que el estado de la celda se actualiza principalmente mediante sumas en lugar de multiplicaciones repetidas, los gradientes pueden fluir hacia atrás en muchos pasos de tiempo sin reducirse a cero, lo que permite a los LSTM aprender dependencias con cientos de pasos de diferencia. Antes de Transformers, los LSTM respaldaban la traducción, el reconocimiento de voz y la generación de texto de Google.
Información técnica
La solución del gradiente de fuga proviene de la actualización casi lineal del estado de la celda: c_t = f_t * c_{t-1} + i_t * g_t. La puerta de olvido f_t (un sigmoide) puede permanecer cerca de 1, creando un "carrusel de errores constantes" para que las señales de error sobrevivan a la retropropagación en el tiempo a lo largo de largos períodos. Las puertas son en sí mismas pequeñas capas neuronales (sigmoide para puertas, tanh para valores candidatos), todas entrenadas conjuntamente mediante descenso de gradiente. Esta activación permite a la red saber qué conservar y qué descartar.
Impacto Estratégico
Decisiones más claras
Le ayuda a separar las afirmaciones técnicas claras del lenguaje de marketing.
Costo y presupuesto
Puede hacer mejores preguntas sobre implementación antes de gastar dinero o tiempo.
Equipo y flujo de trabajo
Los equipos con conocimientos compartidos toman mejores decisiones sobre productos, políticas y aprendizaje.
El futuro de las células de memoria a corto plazo
Los transformadores han superado en gran medida a los LSTM para tareas lingüísticas a gran escala porque se paralelizan en una secuencia y capturan el contexto de largo alcance a través de la atención, mientras que los LSTM procesan tokens paso a paso. Aún así, los LSTM siguen siendo valiosos para configuraciones de transmisión, baja latencia y recursos limitados, y en datos de series de tiempo modestos. Trabajos recientes como xLSTM (2024) revisan y modernizan la arquitectura con nuevas puertas y memoria para competir a escala, lo que demuestra que la idea no está terminada.
Implementación en el mundo real
Impulsando la traducción automática a principios de Google el sistema neuronal de Translate antes de que Transformers tomara el control.
Reconocimiento de voz a texto en asistentes de voz y software de dictado.
Predecir valores futuros en series temporales como la demanda de energía, lecturas de sensores o precios de acciones.
Generar texto o música un token a la vez y autocompletar secuencias.
Riesgos y barandillas
Diferentes equipos pueden usar el mismo término de manera diferente, por lo tanto, defina el alcance con anticipación.
Los puntos de referencia pueden parecer sólidos, mientras que el desempeño en el mundo real es desigual.
Ignorar la calidad de los datos y los planes de evaluación a menudo genera resultados frágiles.
Hoja de ruta de implementación
Comience con una definición en lenguaje sencillo del resultado que necesita.
Elija una métrica de éxito y una condición de fracaso antes de realizar la prueba.
Ejecute un pequeño piloto con datos representativos, no un conjunto de demostración pulido.
Documente dónde ayudan las células de memoria a largo plazo y dónde son mejores los métodos más simples.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Gestión y fragmentación de la memoria de la GPU
Preguntas frecuentes
What is Long Short-Term Memory Cells?
Las células de memoria larga a corto plazo (LSTM) son un tipo especial de unidad de red neuronal recurrente creada para recordar información a través de secuencias largas. Resolvieron el problema del gradiente de fuga que paralizó a las RNN anteriores, impulsando una década de avances en el lenguaje, el habla y la traducción.
¿Qué tres puertas controlan el flujo de información en una celda LSTM estándar?
Un LSTM utiliza una puerta de olvido (qué borrar), una puerta de entrada (qué almacenar) y una puerta de salida (qué exponer), cada una de las cuales es un sigmoide aprendido.
¿Qué problema importante con los RNN anteriores resolvieron los LSTM?
Los RNN estándar sufren gradientes de desaparición que impiden aprender dependencias de largo alcance; El estado de celda aditivo del LSTM permite que los gradientes persistan.
¿Quién introdujo el LSTM y en qué año?
Sepp Hochreiter y Jurgen Schmidhuber publicaron el LSTM en 1997.
¿Por qué el estado de la célula LSTM ayuda a que los gradientes sobrevivan durante muchos pasos de tiempo?
La actualización aditiva (el 'carrusel de errores constantes') evita las multiplicaciones repetidas que reducen los gradientes, por lo que las señales de error regresan en períodos prolongados.
¿Qué función de activación suelen utilizar las puertas LSTM para actuar como interruptores suaves de encendido/apagado?
Las puertas utilizan un sigmoide, cuya salida de 0 a 1 escala la cantidad de información que pasa, actuando como un interruptor suave.