Il prossimoProssima guida
Reti neurali ricorrenti
Fondamenti
GUIDA AI FONDAMENTALI
Una Gated Recurrent Unit (GRU) è un tipo semplificato di cella di rete neurale ricorrente che utilizza due porte per decidere quali informazioni conservare e cosa dimenticare durante la lettura di una sequenza.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché cattura i modelli a lungo raggio in testo, voce e serie temporali quasi quanto gli LSTM, pur essendo più veloce e semplice da addestrare.
Introdotto da Cho e colleghi nel 2014, il GRU è stato progettato per risolvere il problema del gradiente di fuga che affliggeva le semplici reti ricorrenti, che faticano a ricordare le informazioni in molti passaggi temporali. A differenza dell'LSTM, che utilizza tre porte e uno stato di cella separato, il GRU utilizza solo due porte e un unico stato nascosto. Il gate di aggiornamento controlla la quantità di stato nascosto precedente da portare avanti rispetto alla quantità di nuove informazioni da aggiungere. Il cancello di reset decide quante informazioni passate ignorare quando si calcola un nuovo stato candidato. Unendo direttamente vecchi e nuovi stati con un'interpolazione appresa, il GRU consente ai gradienti di fluire su lunghe sequenze. Meno parametri significano meno memoria, training più rapido e prestazioni elevate su set di dati più piccoli.
Alimenta modelli compatti di riconoscimento vocale su telefoni e altoparlanti intelligenti in cui memoria e batteria sono limitate
Previsione della domanda di energia elettrica a breve termine o dei prezzi delle azioni a partire da dati di serie temporali storiche
Rilevamento di anomalie nelle letture dei sensori in streaming dai macchinari industriali per la manutenzione predittiva
Codifica di sequenze nei primi sistemi di traduzione automatica neurale prima che Transformers diventasse standard
Sebbene i Transformer ora dominino le attività linguistiche su larga scala, le GRU rimangono preziose ovunque sia importante l’efficienza sequenziale: riconoscimento vocale sul dispositivo, sensori incorporati, controllo in tempo reale e streaming a bassa latenza. I ricercatori stanno anche ripiegando le idee di gate in architetture più nuove, e modelli di stato-spazio come Mamba rivisitano l’elaborazione sequenziale in stile ricorrente per contesti lunghi. Aspettatevi che le GRU persistano come una scelta leggera e affidabile in contesti con risorse limitate e ambienti marginali in cui la piena attenzione è troppo costosa.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Una Gated Recurrent Unit (GRU) è un tipo semplificato di cella di rete neurale ricorrente che utilizza due porte per decidere quali informazioni conservare e cosa dimenticare durante la lettura di una sequenza. È importante perché cattura modelli a lungo raggio nel testo, nel parlato e nelle serie temporali quasi quanto gli LSTM, pur essendo più veloce e più semplice da addestrare.
The guide says the update gate blends prior hidden state and new content.
The guide says the reset gate determines how much past state to ignore for the candidate.
The guide distinguishes the GRU’s single hidden state from the LSTM cell state.
The guide gives the update formula as a blend of the previous state and candidate; when z is near one, the previous state is mostly preserved.
The guide says gated state updates help address vanishing-gradient limitations of plain RNNs.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Reti neurali ricorrenti
Fondamenti