VolgendeVolgende gids
Terugkerende neurale netwerken
Grondbeginselen
Technische GIDS
Een bidirectioneel terugkerend netwerk leest een reeks zowel voorwaarts als achterwaarts, dus de representatie van elke positie is gebaseerd op context uit het verleden en de toekomst.
Luister naar deze gidsAI-verteld · ~2 min
This matters because meaning often depends on what comes next, not just what came before.
Voorgesteld door Schuster en Paliwal in 1997, voert de bidirectionele RNN twee afzonderlijke terugkerende lagen uit over dezelfde invoer: de ene verwerkt de reeks van links naar rechts, de andere van rechts naar links. Hun verborgen toestanden worden vervolgens gecombineerd, meestal door aaneenschakeling, om bij elke tijdstap een representatie te vormen die de volledige omringende context codeert. Dit is krachtig voor taken waarbij de volledige invoer in één keer beschikbaar is. Om bijvoorbeeld het woord bank te bestempelen als een financiële instelling versus een rivieroever, heeft een model er baat bij om woorden aan beide kanten te zien. Bidirectionele LSTM's en GRU's werden de standaard voor herkenning van benoemde entiteiten, tagging van gedeelten van spraak en spraakherkenning. De belangrijkste beperking is dat het netwerk de volledige reeks nodig heeft voordat er uitvoer kan worden geproduceerd, en kan dus niet worden gebruikt voor real-time, streaming of generatieve links-naar-rechts-voorspelling.
Herkenning van benoemde entiteiten, waarbij omringende woorden aan beide kanten een token helpen classificeren als een persoon, plaats of organisatie
Part-of-speech-tagging die woorden als 'lead' ondubbelzinnig maakt met behulp van zowel de voorgaande als de volgende context
Akoestische modellering bij offline spraakherkenning waarbij de volledige uiting beschikbaar is
Labeling van eiwit- of DNA-sequenties in de bio-informatica, waarbij motieven afhankelijk zijn van flankerende residuen
Bidirectionele context leeft voort in moderne encoders: Transformers in BERT-stijl bereiken hetzelfde doel met gemaskeerde aandacht in plaats van met herhaling, en ze parallelliseren veel beter. Bidirectionele RNN's blijven relevant in lichtgewicht pijpleidingen, audio- en biosignaalverwerking en instellingen waar volledige sequenties kort en gelabeld zijn. Verwacht voortdurend gebruik in gespecialiseerde, latentietolerante coderingstaken, terwijl op aandacht gebaseerde bidirectionele encoders het grootschalige taalbegrip domineren.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Een bidirectioneel terugkerend netwerk leest een reeks zowel voorwaarts als achterwaarts, dus de representatie van elke positie is gebaseerd op context uit het verleden en de toekomst. Dit is van belang omdat betekenis vaak afhangt van wat er daarna komt, en niet alleen van wat eraan voorafging.
The guide describes two recurrent passes over the same input in opposite directions.
The guide gives contextual disambiguation as a benefit of bidirectional representations.
The guide says the directional states are typically concatenated before output.
The guide notes the full input must be available before outputs using future context can be produced.
Both passes provide context before and after the current position.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Terugkerende neurale netwerken
Grondbeginselen