āļ„āļđāđˆāļĄāļ·āļ­āđ€āļŠāļĩāļĒāļ‡ AI

āļĢāļļāđˆāļ™āļ—āļĢāļēāļ™āļŠāļ”āļīāļ§āđ€āļ‹āļ­āļĢāđŒ RNN

The Recurrent Neural Network Transducer (RNN-T) combines an input encoder, a prediction network over previous output labels and a joint network to produce streaming sequence outputs.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āđ€āļˆāļēāļ°āļĨāļķāļ
  2. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  3. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ—āļĢāļēāļ™āļŠāļ”āļīāļ§āđ€āļ‹āļ­āļĢāđŒ RNN
  4. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  5. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  6. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āđ€āļˆāļēāļ°āļĨāļķāļ

RNN-T combines an encoder over acoustic input, a prediction network over prior output labels, and a joint network that scores next-label choices. Its alignment lattice permits zero or more nonblank label emissions at an input frame; a blank transition advances the frame without emitting a label. This enables monotonic streaming behavior while accommodating variable output length, but does not imply zero latency or perfect recognition.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

The encoder summarizes acoustic input frames.

The prediction network summarizes previously emitted output labels.

The joint network combines both representations to score blank and label transitions.

A blank transition advances the input time without emitting a label, enabling streaming alignment.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨāļ—āļĢāļēāļ™āļŠāļ”āļīāļ§āđ€āļ‹āļ­āļĢāđŒ RNN

Evaluate RNN-T with the target acoustic conditions, chunking strategy and decoder. Report latency alongside error rate and include endpointing behavior. The cited papers describe specific transducer systems and do not establish universal superiority over CTC or attention models.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļœāđˆāļēāļ™āļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡ āļ„āļģāļšāļĢāļĢāļĒāļēāļĒ āđāļĨāļ°āļ­āļīāļ™āđ€āļ—āļ­āļĢāđŒāđ€āļŸāļ‹āđ€āļŠāļĩāļĒāļ‡
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ—āļĩāļĄāļŠāļ·āđˆāļ­āļŠāļēāļĄāļēāļĢāļ–āļˆāļąāļ”āļŠāđˆāļ‡āđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄāđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™āļ”āđ‰āļ§āļĒāļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“āļ—āļĩāđˆāļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļĢāļ°āļšāļšāļ—āļĩāđˆāļ•āļīāļ”āļ•āđˆāļ­āļāļąāļšāļĨāļđāļāļ„āđ‰āļēāļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļāļēāļĢāđ‚āļ•āđ‰āļ•āļ­āļšāļ”āđ‰āļ§āļĒāđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ‚āļ™āļēāļ”āļ—āļĩāđˆāđƒāļŦāļāđˆāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđƒāļŠāđ‰āđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ—āļēāļ‡āļ—āļĩāđˆāļœāļīāļ”āđāļĨāļ°āļāļēāļĢāđāļ­āļšāļ­āđ‰āļēāļ‡āļšāļļāļ„āļ„āļĨāļ­āļ·āđˆāļ™āļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļ‚āļēāļ”āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄ
  • āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ­āļēāļˆāļĨāļ”āļĨāļ‡āļ•āļēāļĄāļŠāļģāđ€āļ™āļĩāļĒāļ‡ āļ āļēāļĐāļēāļ–āļīāđˆāļ™ āļŦāļĢāļ·āļ­āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄāļ—āļĩāđˆāļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļ”āļąāļ‡
  • āđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāļ­āļēāļˆāļ–āļđāļāđ€āļ‚āđ‰āļēāđƒāļˆāļœāļīāļ”āļ§āđˆāļēāđ€āļ›āđ‡āļ™āđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ—āļĩāđˆāđāļ—āđ‰āļˆāļĢāļīāļ‡āđ‚āļ”āļĒāđ„āļĄāđˆāļĄāļĩāļāļēāļĢāļāļģāļāļąāļšāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ„āļ”āđ‰āļĢāļąāļšāļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāļ­āļĒāđˆāļēāļ‡āļŠāļąāļ”āđāļˆāđ‰āļ‡āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļˆāļąāļšāđ€āļŠāļĩāļĒāļ‡ āļāļēāļĢāđ‚āļ„āļĨāļ™ āđāļĨāļ°āļāļēāļĢāđƒāļŠāđ‰āļ‹āđ‰āļģ
  2. āļ—āļ”āļŠāļ­āļšāļ„āļļāļ“āļ āļēāļžāļāļąāļšāļĨāļģāđ‚āļžāļ‡āđāļĨāļ°āļŠāļ āļēāļžāļžāļ·āđ‰āļ™āļŦāļĨāļąāļ‡āļ—āļĩāđˆāļŦāļĨāļēāļāļŦāļĨāļēāļĒ
  3. āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāļĄāļ™āļļāļĐāļĒāđŒāļˆāļ°āļ•āđ‰āļ­āļ‡āļ•āļĢāļ§āļˆāļŠāļ­āļšāļŦāļĢāļ·āļ­āļ­āļ™āļļāļĄāļąāļ•āļīāļœāļĨāļĨāļąāļžāļ˜āđŒ
  4. āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāđāļĨāļ°āđ€āļāđ‡āļšāļšāļąāļ™āļ—āļķāļāļ—āļĩāđˆāļĄāļēāđ€āļžāļ·āđˆāļ­āļ„āļ§āļēāļĄāļĢāļąāļšāļœāļīāļ”āļŠāļ­āļš

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the RNN-Transducer Models quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āđ‚āļĄāđ€āļ”āļĨ RNN-Transducer āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

The Recurrent Neural Network Transducer (RNN-T) combines an input encoder, a prediction network over previous output labels and a joint network to produce streaming sequence outputs.

āļ‚āđ‰āļ­āļˆāļģāļāļąāļ”āđƒāļ”āļ‚āļ­āļ‡ CTC āļ—āļĩāđˆ RNN-Transducer āļĢāļ°āļšāļļāđ€āļ›āđ‡āļ™āļžāļīāđ€āļĻāļĐ

RNN-T āđ€āļžāļīāđˆāļĄāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļāļēāļĢāļ„āļēāļ”āļāļēāļĢāļ“āđŒāļ—āļĩāđˆāļāļģāļŦāļ™āļ”āđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āđƒāļŦāđ‰āļāļąāļšāđ‚āļ—āđ€āļ„āđ‡āļ™āļāđˆāļ­āļ™āļŦāļ™āđ‰āļē āđ‚āļ”āļĒāļĨāļšāļŠāļĄāļĄāļ•āļīāļāļēāļ™āļ‚āļ­āļ‡ CTC āļ—āļĩāđˆāļ§āđˆāļēāđāļ•āđˆāļĨāļ°āđ€āļ­āļēāļ•āđŒāļžāļļāļ•āļĄāļĩāļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļ­āļīāļŠāļĢāļ°āļˆāļēāļāđ€āļŠāļĩāļĒāļ‡

āļ­āļ‡āļ„āđŒāļ›āļĢāļ°āļāļ­āļšāļŦāļĨāļąāļāļŠāļēāļĄāļ›āļĢāļ°āļāļēāļĢāļ‚āļ­āļ‡ RNN-Transducer āļ„āļ·āļ­āļ­āļ°āđ„āļĢ

RNN-T āļˆāļąāļšāļ„āļđāđˆāļ•āļąāļ§āđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠāđ€āļŠāļĩāļĒāļ‡āļāļąāļšāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļāļēāļĢāļ—āļģāļ™āļēāļĒāđāļšāļšāļĄāļĩāđ€āļ‡āļ·āđˆāļ­āļ™āđ„āļ‚āļ‚āđ‰āļ­āļ„āļ§āļēāļĄ āļ‹āļķāđˆāļ‡āļŦāļĨāļ­āļĄāļĢāļ§āļĄāđ‚āļ”āļĒāđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļĢāđˆāļ§āļĄāļ‚āļ™āļēāļ”āđ€āļĨāđ‡āļāļ—āļĩāđˆāđƒāļŦāđ‰āļ„āļ°āđāļ™āļ™āđ‚āļ—āđ€āļ„āđ‡āļ™āļ–āļąāļ”āđ„āļ›

āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļāļēāļĢāļ—āļģāļ™āļēāļĒāļĄāļĩāļšāļ—āļšāļēāļ—āļ­āļĒāđˆāļēāļ‡āđ„āļĢāđƒāļ™ RNN-T

āđ€āļ„āļĢāļ·āļ­āļ‚āđˆāļēāļĒāļāļēāļĢāļ—āļģāļ™āļēāļĒāļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāđ€āļ›āđ‡āļ™āđāļšāļšāļˆāļģāļĨāļ­āļ‡āļ āļēāļĐāļēāļ āļēāļĒāđƒāļ™āđ€āļŦāļ™āļ·āļ­āļ›āļĢāļ°āļ§āļąāļ•āļīāđ‚āļ—āđ€āļ„āđ‡āļ™āđ€āļ­āļēāļ•āđŒāļžāļļāļ• āļ—āļģāđƒāļŦāđ‰ RNN-T āļĄāļĩāļāļēāļĢāļŠāļ°āļāļ”āđāļĨāļ°āļĢāļđāļ›āđāļšāļšāļ„āļģāļ—āļĩāđˆāļŠāļĄāļˆāļĢāļīāļ‡

āđ€āļŦāļ•āļļāđƒāļ” RNN-T āļˆāļķāļ‡āļĢāļ­āļ‡āļĢāļąāļšāļāļēāļĢāļŠāļ•āļĢāļĩāļĄāļ—āļĩāđˆāļĄāļĩāļ„āļ§āļēāļĄāļŦāļ™āđˆāļ§āļ‡āļ•āđˆāļģāļ­āļĒāđˆāļēāļ‡āđ€āļ›āđ‡āļ™āļ˜āļĢāļĢāļĄāļŠāļēāļ•āļī

RNN-T āđ€āļ”āļīāļ™āđ‚āļ„āļĢāļ‡āļ•āļēāļ‚āđˆāļēāļĒāđāļšāļšāđ‚āļĄāđ‚āļ™āđ‚āļ—āļ™āļīāļāļ—āļĩāļĨāļ°āđ‚āļ—āđ€āļ„āđ‡āļ™ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļˆāļķāļ‡āļŠāļēāļĄāļēāļĢāļ–āļ›āļĨāđˆāļ­āļĒāđ€āļ­āļēāļ•āđŒāļžāļļāļ•āđ€āļĄāļ·āđˆāļ­āđ€āļŠāļĩāļĒāļ‡āļĄāļēāļ–āļķāļ‡āđ‚āļ”āļĒāļĄāļĩāļ„āļ§āļēāļĄāļŦāļ™āđˆāļ§āļ‡āđāļāļ‡āļ—āļĩāđˆāļˆāļģāļāļąāļ” āđāļ—āļ™āļ—āļĩāđˆāļˆāļ°āļĢāļ­āļ„āļĨāļīāļ›āđ€āļ•āđ‡āļĄ

āđƒāļ™āļāļēāļĢāļ–āļ­āļ”āļĢāļŦāļąāļŠ RNN-T āļāļēāļĢāļ›āļĨāđˆāļ­āļĒāđ‚āļ—āđ€āļ„āđ‡āļ™āđ€āļ›āļĨāđˆāļēāļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļ­āļ°āđ„āļĢ

āđƒāļ™āđ‚āļ„āļĢāļ‡āļ•āļēāļ‚āđˆāļēāļĒ RNN-T āļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļˆāļ°āđ€āļĨāļ·āđˆāļ­āļ™āđāļāļ™āđ€āļ§āļĨāļē (āļĒāđ‰āļēāļĒāđ„āļ›āļĒāļąāļ‡āđ€āļŸāļĢāļĄāđ€āļŠāļĩāļĒāļ‡āļ–āļąāļ”āđ„āļ›) āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļŠāđˆāļ­āļ‡āļ§āđˆāļēāļ‡āļ—āļĩāđˆāđ„āļĄāđˆāļ§āđˆāļēāļ‡āļˆāļ°āđ€āļĨāļ·āđˆāļ­āļ™āđāļāļ™āļ›āđ‰āļēāļĒāļāļģāļāļąāļš

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →