VolgendeVolgende gids
Shallow Fusion With Language Models in ASR
Audio-AI
Audio AI-GIDS
The Recurrent Neural Network Transducer (RNN-T) combines an input encoder, a prediction network over previous output labels and a joint network to produce streaming sequence outputs.
Luister naar deze gidsAI-verteld · ~1 min
RNN-T combines an encoder over acoustic input, a prediction network over prior output labels, and a joint network that scores next-label choices. Its alignment lattice permits zero or more nonblank label emissions at an input frame; a blank transition advances the frame without emitting a label. This enables monotonic streaming behavior while accommodating variable output length, but does not imply zero latency or perfect recognition.
The encoder summarizes acoustic input frames.
The prediction network summarizes previously emitted output labels.
The joint network combines both representations to score blank and label transitions.
A blank transition advances the input time without emitting a label, enabling streaming alignment.
Evaluate RNN-T with the target acoustic conditions, chunking strategy and decoder. Report latency alongside error rate and include endpointing behavior. The cited papers describe specific transducer systems and do not establish universal superiority over CTC or attention models.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
The Recurrent Neural Network Transducer (RNN-T) combines an input encoder, a prediction network over previous output labels and a joint network to produce streaming sequence outputs.
RNN-T voegt een voorspellingsnetwerk toe dat afhankelijk is van eerdere tokens, waardoor de aanname van CTC wordt verwijderd dat elke uitvoer onafhankelijk is gezien de audio.
RNN-T koppelt een audio-encoder aan een tekstgeconditioneerd voorspellingsnetwerk, gefuseerd door een klein gezamenlijk netwerk dat het volgende token scoort.
Het voorspellingsnetwerk functioneert als een intern taalmodel voor de geschiedenis van de uitvoertoken, waardoor RNN-T realistische spelling- en woordpatronen krijgt.
RNN-T werkt volgens een monotoon tijd-voor-token-rooster, zodat het uitvoer kan uitzenden zodra audio arriveert met een beperkte latentie, in plaats van te wachten op de volledige clip.
In het RNN-T-rooster verplaatst een blanco de tijdas (naar het volgende audioframe), terwijl een niet-blanco de labelas voortbeweegt.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Shallow Fusion With Language Models in ASR
Audio-AI