āļ„āļđāđˆāļĄāļ·āļ­āđ€āļŠāļĩāļĒāļ‡ AI

Wav2Vec 2.0

Wav2Vec 2.0 āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļāļēāļĢāđāļŠāļ”āļ‡āđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļˆāļēāļāđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāđ„āļĄāđˆāļĄāļĩāļ›āđ‰āļēāļĒāļāļģāļāļąāļš āļˆāļēāļāļ™āļąāđ‰āļ™āļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļąāļšāđāļ•āđˆāļ‡āļ­āļĒāđˆāļēāļ‡āļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ”āđ‰āļ§āļĒāļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļĢāļđāđ‰āļˆāļģāđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļī

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~1 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 1 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Wav2Vec 2.0
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

XLS-R is a distinct cross-lingual model family built on the wav2vec 2.0 approach; its paper reports training on nearly half a million hours in 128 languages.

āđ€āļˆāļēāļ°āļĨāļķāļ

Wav2Vec 2.0 uses a convolutional feature encoder and a Transformer context network. During pretraining, it masks latent spans and predicts quantized targets with a contrastive objective. The authors show fine-tuning can use relatively little transcribed speech in specified LibriSpeech experiments. XLS-R is a later cross-lingual model based on wav2vec 2.0; its paper reports models trained on nearly 500,000 hours of public speech across 128 languages. These results are specific to the published models and benchmarks.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Pretraining the Wav2Vec 2.0 encoder on unlabeled audio before ASR fine-tuning.

Testing the original paper’s low-resource LibriSpeech fine-tuning setup.

Using XLS-R as a cross-lingual representation model trained across 128 languages.

Comparing a model’s performance on the dataset and language used for evaluation.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡ Wav2Vec 2.0

Evaluate recognition on target languages, domains and recording conditions. The published language count or low-label result does not guarantee performance for every language or deployment.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ›āļĢāļąāļšāļ›āļĢāļļāļ‡āļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļœāđˆāļēāļ™āļāļēāļĢāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡ āļ„āļģāļšāļĢāļĢāļĒāļēāļĒ āđāļĨāļ°āļ­āļīāļ™āđ€āļ—āļ­āļĢāđŒāđ€āļŸāļ‹āđ€āļŠāļĩāļĒāļ‡
  • āļ•āđ‰āļ™āļ—āļļāļ™āđāļĨāļ°āļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“. āļ—āļĩāļĄāļŠāļ·āđˆāļ­āļŠāļēāļĄāļēāļĢāļ–āļˆāļąāļ”āļŠāđˆāļ‡āđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļŠāļ§āļĒāļ‡āļēāļĄāđ„āļ”āđ‰āļĢāļ§āļ”āđ€āļĢāđ‡āļ§āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™āļ”āđ‰āļ§āļĒāļ‡āļšāļ›āļĢāļ°āļĄāļēāļ“āļ—āļĩāđˆāļ™āđ‰āļ­āļĒāļĨāļ‡
  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļĢāļ°āļšāļšāļ—āļĩāđˆāļ•āļīāļ”āļ•āđˆāļ­āļāļąāļšāļĨāļđāļāļ„āđ‰āļēāļŠāļēāļĄāļēāļĢāļ–āļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļāļēāļĢāđ‚āļ•āđ‰āļ•āļ­āļšāļ”āđ‰āļ§āļĒāđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ‚āļ™āļēāļ”āļ—āļĩāđˆāđƒāļŦāļāđˆāļ‚āļķāđ‰āļ™

āļĢāļ°āļ§āļąāļ‡

  • āļāļēāļĢāđƒāļŠāđ‰āđ€āļŠāļĩāļĒāļ‡āđƒāļ™āļ—āļēāļ‡āļ—āļĩāđˆāļœāļīāļ”āđāļĨāļ°āļāļēāļĢāđāļ­āļšāļ­āđ‰āļēāļ‡āļšāļļāļ„āļ„āļĨāļ­āļ·āđˆāļ™āļĄāļĩāļ„āļ§āļēāļĄāđ€āļŠāļĩāđˆāļĒāļ‡āđ€āļžāļīāđˆāļĄāļ‚āļķāđ‰āļ™āđ€āļĄāļ·āđˆāļ­āļ‚āļēāļ”āļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄ
  • āļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļ­āļēāļˆāļĨāļ”āļĨāļ‡āļ•āļēāļĄāļŠāļģāđ€āļ™āļĩāļĒāļ‡ āļ āļēāļĐāļēāļ–āļīāđˆāļ™ āļŦāļĢāļ·āļ­āļŠāļ āļēāļžāđāļ§āļ”āļĨāđ‰āļ­āļĄāļ—āļĩāđˆāļĄāļĩāđ€āļŠāļĩāļĒāļ‡āļ”āļąāļ‡
  • āđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāļ­āļēāļˆāļ–āļđāļāđ€āļ‚āđ‰āļēāđƒāļˆāļœāļīāļ”āļ§āđˆāļēāđ€āļ›āđ‡āļ™āđ€āļŠāļĩāļĒāļ‡āļžāļđāļ”āļ—āļĩāđˆāđāļ—āđ‰āļˆāļĢāļīāļ‡āđ‚āļ”āļĒāđ„āļĄāđˆāļĄāļĩāļāļēāļĢāļāļģāļāļąāļšāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āđ„āļ”āđ‰āļĢāļąāļšāļ„āļ§āļēāļĄāļĒāļīāļ™āļĒāļ­āļĄāļ­āļĒāđˆāļēāļ‡āļŠāļąāļ”āđāļˆāđ‰āļ‡āļŠāļģāļŦāļĢāļąāļšāļāļēāļĢāļˆāļąāļšāđ€āļŠāļĩāļĒāļ‡ āļāļēāļĢāđ‚āļ„āļĨāļ™ āđāļĨāļ°āļāļēāļĢāđƒāļŠāđ‰āļ‹āđ‰āļģ
  2. āļ—āļ”āļŠāļ­āļšāļ„āļļāļ“āļ āļēāļžāļāļąāļšāļĨāļģāđ‚āļžāļ‡āđāļĨāļ°āļŠāļ āļēāļžāļžāļ·āđ‰āļ™āļŦāļĨāļąāļ‡āļ—āļĩāđˆāļŦāļĨāļēāļāļŦāļĨāļēāļĒ
  3. āļāļģāļŦāļ™āļ”āđ€āļ§āļĨāļēāļ—āļĩāđˆāļĄāļ™āļļāļĐāļĒāđŒāļˆāļ°āļ•āđ‰āļ­āļ‡āļ•āļĢāļ§āļˆāļŠāļ­āļšāļŦāļĢāļ·āļ­āļ­āļ™āļļāļĄāļąāļ•āļīāļœāļĨāļĨāļąāļžāļ˜āđŒ
  4. āļ•āļīāļ”āļ›āđ‰āļēāļĒāļāļģāļāļąāļšāđ€āļŠāļĩāļĒāļ‡āļŠāļąāļ‡āđ€āļ„āļĢāļēāļ°āļŦāđŒāđāļĨāļ°āđ€āļāđ‡āļšāļšāļąāļ™āļ—āļķāļāļ—āļĩāđˆāļĄāļēāđ€āļžāļ·āđˆāļ­āļ„āļ§āļēāļĄāļĢāļąāļšāļœāļīāļ”āļŠāļ­āļš

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Wav2Vec 2.0 quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is Wav2Vec 2.0?

Wav2Vec 2.0 learns speech representations from unlabeled audio, then can be fine-tuned with transcripts for automatic speech recognition. XLS-R is a distinct cross-lingual model family built on the wav2vec 2.0 approach; its paper reports training on nearly half a million hours in 128 languages.

āļ›āļąāļāļŦāļēāļŦāļĨāļąāļāđƒāļ™āļāļēāļĢāļĢāļđāđ‰āļˆāļģāđ€āļŠāļĩāļĒāļ‡āļ„āļ·āļ­ Wav2Vec 2.0 āļ—āļĩāđˆāđ„āļ”āđ‰āļĢāļąāļšāļāļēāļĢāļ­āļ­āļāđāļšāļšāļĄāļēāđ€āļžāļ·āđˆāļ­āđāļāđ‰āđ„āļ‚āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

Wav2Vec 2.0 āļĨāļ”āļāļēāļĢāļžāļķāđˆāļ‡āļžāļēāđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāļ–āļ­āļ”āđ€āļŠāļĩāļĒāļ‡āļ‹āļķāđˆāļ‡āļĄāļĩāļĢāļēāļ„āļēāļŠāļđāļ‡āđ‚āļ”āļĒāļāļēāļĢāļāļķāļāļžāļđāļ”āļ—āļĩāđˆāđ„āļĄāđˆāļĄāļĩāļ›āđ‰āļēāļĒāļāļģāļāļąāļšāļˆāļģāļ™āļ§āļ™āļĄāļēāļāļāđˆāļ­āļ™

Wav2Vec 2.0 āđƒāļŠāđ‰āļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāļāļēāļĢāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđāļšāļšāđƒāļ”āļĢāļ°āļŦāļ§āđˆāļēāļ‡āļāļēāļĢāļāļķāļāļĨāđˆāļ§āļ‡āļŦāļ™āđ‰āļē?

āļĄāļąāļ™āļ›āļāļ›āļīāļ”āļŠāđˆāļ§āļ‡āļ‚āļ­āļ‡āđ€āļ§āļāđ€āļ•āļ­āļĢāđŒāđ€āļŠāļĩāļĒāļ‡āļ—āļĩāđˆāđāļāļ‡āļ­āļĒāļđāđˆ āđāļĨāļ°āđƒāļŠāđ‰āļāļēāļĢāļŠāļđāļāđ€āļŠāļĩāļĒāđ€āļŠāļīāļ‡āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāđ€āļžāļ·āđˆāļ­āđ€āļĨāļ·āļ­āļāļŦāļ™āđˆāļ§āļĒāļ›āļĢāļīāļĄāļēāļ“āļ—āļĩāđˆāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ—āđˆāļēāļĄāļāļĨāļēāļ‡āļŠāļīāđˆāļ‡āļĢāļšāļāļ§āļ™āļŠāļĄāļēāļ˜āļī

āļ­āļ‡āļ„āđŒāļ›āļĢāļ°āļāļ­āļšāđƒāļ”āļ—āļĩāđˆāļ›āļĢāļ°āļĄāļ§āļĨāļœāļĨāļĢāļđāļ›āļ„āļĨāļ·āđˆāļ™āļ”āļīāļšāđƒāļ™ Wav2Vec 2.0 āļāđˆāļ­āļ™

āļŠāđāļ•āđ‡āļāļ‚āļ­āļ‡āđ€āļĨāđ€āļĒāļ­āļĢāđŒāđāļšāļšāļŦāļĄāļļāļ™āļ§āļ™āļˆāļ°āđ€āļ‚āđ‰āļēāļĢāļŦāļąāļŠāļĢāļđāļ›āļ„āļĨāļ·āđˆāļ™āđāļšāļšāļ”āļīāļšāđ€āļ›āđ‡āļ™āđ€āļ§āļāđ€āļ•āļ­āļĢāđŒāļ„āļļāļ“āļĨāļąāļāļĐāļ“āļ°āđāļāļ‡āļāđˆāļ­āļ™āļ—āļģāļāļēāļĢāļĄāļēāļŠāļāđŒāđāļĨāļ° Transformer

In a reported LibriSpeech experiment, what small labeled-data setup demonstrated low-label potential?

The paper reports experiments using 10 minutes of labels after 53,000 hours of unlabeled pretraining; this is a specific benchmark setup, not a universal guarantee.

āļšāļ—āļšāļēāļ—āļ‚āļ­āļ‡ codebook āļ—āļĩāđˆāđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āđƒāļ™ Wav2Vec 2.0 āļ„āļ·āļ­āļ­āļ°āđ„āļĢ?

āļŦāļ™āļąāļ‡āļŠāļ·āļ­āļĢāļŦāļąāļŠāļˆāļ°āļˆāļąāļ”āļ›āļĢāļīāļĄāļēāļ“āļāļēāļĢāđ€āļ›āđ‡āļ™āļ•āļąāļ§āđāļ—āļ™āļ­āļĒāđˆāļēāļ‡āļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āđ€āļ›āđ‡āļ™āļŠāļļāļ”āļ—āļĩāđˆāļĄāļĩāļ‚āļ­āļšāđ€āļ‚āļ•āļˆāļģāļāļąāļ”āļ‚āļ­āļ‡āļŦāļ™āđˆāļ§āļĒāļ—āļĩāđˆāđ„āļĄāđˆāļ•āđˆāļ­āđ€āļ™āļ·āđˆāļ­āļ‡āļāļąāļ™ āđ‚āļ”āļĒāđƒāļŦāđ‰āđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒāļŠāļģāļŦāļĢāļąāļšāļ§āļąāļ•āļ–āļļāļ›āļĢāļ°āļŠāļ‡āļ„āđŒāđ€āļŠāļīāļ‡āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļš

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āđ‚āļ§āđ‚āļ„āđ€āļ”āļ­āļĢāđŒāļ›āļĢāļ°āļŠāļēāļ—

āđ€āļŠāļĩāļĒāļ‡āđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →