Células de memória de longo prazo
As células Long Short-Term Memory (LSTM) são um tipo especial de unidade de rede neural recorrente construída para lembrar informações em longas sequências.
Visão geral
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
Mergulho profundo
Introduzida por Sepp Hochreiter e Jurgen Schmidhuber em 1997, a célula LSTM mantém um “estado celular” que atua como uma esteira transportadora de memória que percorre a sequência. Três portas aprendidas controlam-na: a porta esquecer decide o que apagar, a porta de entrada decide quais novas informações armazenar e a porta de saída decide o que expor como saída da célula. Cada porta usa um sigmóide (emitindo 0 a 1) para atuar como um soft switch. Como o estado da célula é atualizado principalmente por adição, em vez de multiplicação repetida, os gradientes podem fluir para trás em muitos intervalos de tempo sem diminuir para zero, permitindo que os LSTMs aprendam dependências com centenas de passos de distância. Antes dos Transformers, os LSTMs sustentavam Google Tradução, reconhecimento de fala e geração de texto.
Visão Técnica
A correção do gradiente de fuga vem da atualização quase linear do estado da célula: c_t = f_t * c_{t-1} + i_t * g_t. A porta de esquecimento f_t (um sigmóide) pode ficar próxima de 1, criando um 'carrossel de erros constante' para que os sinais de erro sobrevivam à retropropagação ao longo do tempo em longos períodos. As portas são elas próprias pequenas camadas neurais (sigmóide para gating, tanh para valores candidatos), todas treinadas em conjunto por gradiente descendente. Esse gate permite que a rede aprenda o que manter e o que descartar.
Impacto Estratégico
Decisões mais claras
Ajuda a separar afirmações técnicas claras da linguagem de marketing.
Custo e orçamento
Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
Equipe e fluxo de trabalho
Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
O futuro das células de memória de longo e curto prazo
Os transformadores ultrapassaram amplamente os LSTMs para tarefas de linguagem em grande escala porque eles paralelizam uma sequência e capturam contexto de longo alcance por meio da atenção, enquanto os LSTMs processam tokens uma etapa de cada vez. Ainda assim, os LSTMs continuam valiosos para configurações de streaming, baixa latência e com recursos limitados, e em dados modestos de séries temporais. Trabalhos recentes como xLSTM (2024) revisitam e modernizam a arquitetura com novas portas e memória para competir em escala, mostrando que a ideia não está concluída.
Implementação no mundo real
Ativando a tradução automática no início do sistema neural do Google Translate, antes dos Transformers assumirem o controle.
Reconhecimento de fala para texto em assistentes de voz e software de ditado.
Prever valores futuros em séries temporais, como demanda de energia, leituras de sensores ou preços de ações.
Geração de texto ou música, um token por vez, e sequências de preenchimento automático.
Riscos e guarda-corpos
Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Roteiro de implementação
Comece com uma definição em linguagem simples do resultado que você precisa.
Escolha uma métrica de sucesso e uma condição de falha antes de testar.
Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
Documente onde as células de memória de longo prazo ajudam e onde os métodos mais simples são melhores.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Gerenciamento e fragmentação de memória GPU
Perguntas frequentes
What is Long Short-Term Memory Cells?
As células Long Short-Term Memory (LSTM) são um tipo especial de unidade de rede neural recorrente construída para lembrar informações em longas sequências. Eles resolveram o problema do gradiente de desaparecimento que paralisou os RNNs anteriores, impulsionando uma década de avanços em linguagem, fala e tradução.
Quais são as três portas que controlam o fluxo de informações em uma célula LSTM padrão?
Um LSTM usa uma porta de esquecimento (o que apagar), uma porta de entrada (o que armazenar) e uma porta de saída (o que expor), cada uma delas um sigmóide aprendido.
Que grande problema com os RNNs anteriores os LSTMs resolveram?
RNNs padrão sofrem gradientes de desaparecimento que impedem o aprendizado de dependências de longo alcance; o estado aditivo da célula do LSTM permite que os gradientes persistam.
Quem introduziu o LSTM e em que ano?
Sepp Hochreiter e Jurgen Schmidhuber publicaram o LSTM em 1997.
Por que o estado da célula LSTM ajuda os gradientes a sobreviver ao longo de muitos intervalos de tempo?
A atualização aditiva (o 'carrossel de erros constantes') evita as multiplicações repetidas que reduzem os gradientes, de modo que os sinais de erro fluem de volta por longos períodos.
Qual função de ativação as portas LSTM normalmente usam para atuar como interruptores liga/desliga suaves?
Os portões usam um sigmóide, cuja saída de 0 para 1 dimensiona a quantidade de informação que passa, agindo como um soft switch.