Il prossimoProssima guida
Reti neurali ricorrenti
Fondamenti
GUIDA TECNICA
Una rete ricorrente bidirezionale legge una sequenza sia in avanti che all'indietro, quindi la rappresentazione di ciascuna posizione si basa sul contesto del passato e del futuro.
Ascolta questa guidaNarrato dall'IA · ~2 min
Questo è importante perché il significato spesso dipende da ciò che viene dopo, non solo da ciò che è accaduto prima.
Proposta da Schuster e Paliwal nel 1997, la RNN bidirezionale esegue due strati ricorrenti separati sullo stesso input: uno elabora la sequenza da sinistra a destra, l'altro da destra a sinistra. I loro stati nascosti vengono quindi combinati, solitamente mediante concatenazione, per formare in ogni fase temporale una rappresentazione che codifica l'intero contesto circostante. Ciò è utile per le attività in cui l'intero input è disponibile contemporaneamente. Ad esempio, per etichettare la parola banca come istituzione finanziaria anziché come riva di un fiume, un modello trae vantaggio dal vedere le parole su entrambi i lati. Gli LSTM e i GRU bidirezionali sono diventati standard per il riconoscimento di entità denominate, il tagging di parti del discorso e il riconoscimento vocale. La limitazione principale è che la rete necessita della sequenza completa prima di produrre output, quindi non può essere utilizzata per la previsione in tempo reale, streaming o generativa da sinistra a destra.
Riconoscimento di entità denominate, in cui le parole circostanti su entrambi i lati aiutano a classificare un token come persona, luogo o organizzazione
Etichettatura di parti del discorso che disambigua parole come "lead" utilizzando sia il contesto precedente che quello successivo
Modellazione acustica nel riconoscimento vocale offline in cui è disponibile l'intera espressione
Etichettatura di sequenze di proteine o DNA in bioinformatica, dove i motivi dipendono dai residui fiancheggianti
Il contesto bidirezionale sopravvive nei codificatori moderni: i Transformer in stile BERT raggiungono lo stesso obiettivo con l'attenzione mascherata anziché con la ricorrenza, e si parallelizzano molto meglio. Gli RNN bidirezionali rimangono rilevanti nelle condutture leggere, nell'elaborazione di audio e biosegnali e in ambienti in cui le sequenze complete sono brevi ed etichettate. Aspettatevi un uso continuato in attività di codifica specializzate e tolleranti alla latenza, mentre i codificatori bidirezionali basati sull'attenzione dominano la comprensione del linguaggio su larga scala.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Una rete ricorrente bidirezionale legge una sequenza sia in avanti che all'indietro, quindi la rappresentazione di ciascuna posizione si basa sul contesto del passato e del futuro. Questo è importante perché il significato spesso dipende da ciò che viene dopo, non solo da ciò che è accaduto prima.
La guida descrive due passaggi ricorrenti sullo stesso input in direzioni opposte.
La guida fornisce la disambiguazione contestuale come vantaggio delle rappresentazioni bidirezionali.
La guida afferma che gli stati direzionali sono generalmente concatenati prima dell'output.
La guida rileva che l'input completo deve essere disponibile prima che si possano produrre output che utilizzano il contesto futuro.
Entrambi i passaggi forniscono il contesto prima e dopo la posizione corrente.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Reti neurali ricorrenti
Fondamenti