概述
它产生的音频在关键基准上可与人类录音相媲美。
深入探讨
Tacotron 2 有两个主要部分。首先，具有注意力的序列到序列网络读取文本字符并逐帧预测梅尔频谱图。编码器将字符转换为隐藏表示，位置敏感的注意机制将文本与音频帧对齐，自回归解码器发出频谱图，而“停止标记”则学习话语何时结束。其次，经过修改的 WaveNet 声码器将梅尔频谱图转换为原始波形。通过以这种方式分解问题，Tacotron 2 通过最少的手工设计从数据中学习韵律、发音和节奏。它的平均意见得分接近专业录音，使其成为自然声音合成的里程碑，并成为后来神经 TTS 的模板。
现实世界的实施
在 Google 的文本转语音产品和助手中提供自然的声音
为有声读物和播客生成富有表现力的旁白
为屏幕阅读器和辅助软件提供语音
作为神经 TTS 管道的研究基线和教学示例
Tacotron 2 的未来
Tacotron 2 的两级设计激发了神经 TTS 的浪潮。更快的非自回归后继产品（例如 FastSpeech 2）删除了顺序解码器以提高速度和稳定性，并且 WaveNet 声码器现在经常替换为 HiFi-GAN 或扩散模型。该领域正在朝着完全端到端、多扬声器、富有表现力和零样本的语音克隆系统发展，但 Tacotron 2 仍然是基于频谱图的管道的基础参考。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
Tacotron 2 是什么？
Tacotron 2 是来自 Google (2017) 的端到端文本转语音系统，可将书面文本直接转换为梅尔频谱图，然后由神经声码器将其转换为逼真的语音。它产生的音频在关键基准上可与人类录音相媲美。
Tacotron 2 从文本中预测什么中间表示？
Tacotron 2 的序列到序列网络可预测梅尔频谱图，然后由声码器将其转换为音频。
是什么将 Tacotron 2 的频谱图转换为实际波形？
Tacotron 2 将其频谱图预测器与改进的 WaveNet 声码器配对以生成最终的原始音频。
位置敏感注意力有助于防止什么问题？
通过考虑之前的对齐方式，位置敏感的注意力可以减少单词重复或丢失等失败。
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
文本到频谱图部分使用什么整体架构风格？
Tacotron 2 使用编码器-解码器序列到序列模型，注意将字符映射到频谱图帧。