A seguirPróximo guia
Redes Neurais Recorrentes
Fundamentos
GUIA de fundamentos
Uma Gated Recurrent Unit (GRU) é um tipo simplificado de célula de rede neural recorrente que usa duas portas para decidir quais informações manter e o que esquecer ao ler uma sequência.
Ouça este guiaNarrado por IA · ~2 min
It matters because it captures long-range patterns in text, speech, and time series almost as well as LSTMs while being faster and simpler to train.
Introduzido por Cho e colegas em 2014, o GRU foi projetado para resolver o problema do gradiente de desaparecimento que atormentava as redes recorrentes simples, que lutam para lembrar informações ao longo de muitos intervalos de tempo. Ao contrário do LSTM, que utiliza três portas e um estado de célula separado, o GRU utiliza apenas duas portas e um único estado oculto. A porta de atualização controla quanto do estado oculto anterior deve ser transportado versus quanta informação nova deve ser adicionada. A porta de redefinição decide quanta informação passada deve ser ignorada ao calcular um novo estado candidato. Ao combinar diretamente estados novos e antigos com uma interpolação aprendida, o GRU permite que os gradientes fluam em longas sequências. Menos parâmetros significam menos memória, treinamento mais rápido e forte desempenho em conjuntos de dados menores.
Alimentando modelos compactos de reconhecimento de fala em telefones e alto-falantes inteligentes onde a memória e a bateria são limitadas
Previsão da demanda de eletricidade no curto prazo ou dos preços das ações a partir de dados históricos de séries temporais
Detecção de anomalias na transmissão de leituras de sensores de máquinas industriais para manutenção preditiva
Codificação de sequências nos primeiros sistemas neurais de tradução automática antes dos Transformers se tornarem padrão
Embora os Transformers agora dominem as tarefas de linguagem em grande escala, os GRUs continuam valiosos onde quer que a eficiência sequencial seja importante: reconhecimento de fala no dispositivo, sensores incorporados, controle em tempo real e streaming de baixa latência. Os pesquisadores também estão incorporando ideias de integração em arquiteturas mais recentes, e modelos de espaço de estados como o Mamba revisitam o processamento sequencial de estilo recorrente para contextos longos. Espere que as GRUs persistam como uma escolha leve e confiável em ambientes com recursos limitados e de borda, onde a atenção total é muito cara.
Boletim informativo gratuito
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Uma Gated Recurrent Unit (GRU) é um tipo simplificado de célula de rede neural recorrente que usa duas portas para decidir quais informações manter e o que esquecer ao ler uma sequência. É importante porque captura padrões de longo alcance em texto, fala e séries temporais quase tão bem quanto LSTMs, ao mesmo tempo que é mais rápido e simples de treinar.
The guide says the update gate blends prior hidden state and new content.
The guide says the reset gate determines how much past state to ignore for the candidate.
The guide distinguishes the GRU’s single hidden state from the LSTM cell state.
The guide gives the update formula as a blend of the previous state and candidate; when z is near one, the previous state is mostly preserved.
The guide says gated state updates help address vanishing-gradient limitations of plain RNNs.
Continue aprendendo
Mais guias escolhidos para este tópico
A seguirPróximo guia
Redes Neurais Recorrentes
Fundamentos