概述
它很重要，因为它让训练更简单，综合过程也更快速且并行。
深入探讨
Kim 及其同事于 2020 年推出的 Glow-TTS 使用基于流的解码器和称为单调对齐搜索 (MAS) 的内置对齐机制从文本生成梅尔频谱图。早期的 TTS 系统（例如 Tacotron 2）使用注意力来决定哪个文本字符与哪个音频帧匹配，但注意力可以跳过单词、重复单词或在长句子上中断。相反，Glow-TTS 假设对齐必须是单调的（文本从左到右读取）和满射的（每个文本标记映射到至少一帧）。它使用动态编程在训练期间找到最有可能的这种对齐方式，然后小持续时间预测器学习在推理时重现它。这产生了稳健、并行且可控的语音生成。
现实世界的实施
训练强大的有声读物旁白声音，使其不会跳过或重复长段落中的单词
为基于 VITS 的开源语音助手和屏幕阅读器的对齐阶段提供支持
构建可控的 TTS，您可以在语言学习应用程序中拉伸或压缩音素持续时间，以实现缓慢、清晰的发音
为手工对齐数据稀缺的低资源语言生成合成语音数据集
Glow-TTS 单调对齐的未来
Glow-TTS 首创的单调对齐思想现已成为许多现代非自回归系统的基础，其中包括 VITS，它将其与声码器融合以生成端到端波形。预计将继续在资源匮乏的语言、设备上的实时语音以及必须明确编辑持续时间、音高和节奏的可控语音中使用 MAS 风格的硬对齐。扩散和流匹配 TTS 越来越多地借用这种干净的文本到帧映射来实现稳定性。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是Glow-TTS单调对齐？
Glow-TTS 是一种文本转语音模型，它可以使用巧妙的搜索技巧自行学习将文本与语音对齐，从而无需单独的对齐器。这很重要，因为它使训练更简单，合成快速且并行。
Glow-TTS 旨在解决基于注意力的 TTS 的哪些问题？
注意力可能会在长输入上失灵，导致跳过或重复单词； Glow-TTS 强制执行单调对齐以避免这种情况。
MAS 在 Glow-TTS 中代表什么？
MAS 是单调对齐搜索，是一种动态编程例程，可找到最佳的文本到帧对齐方式。
为什么对齐要求是单调的？
语音按顺序读取文本，因此随着时间的推移，对齐必须在文本中向前移动。
Glow-TTS 使用什么类型的解码器来建模频谱图？
Glow-TTS 使用基于流的解码器，这给出了 MAS 可以最大化过度对齐的确切可能性。
在推理时，Glow-TTS 如何决定每个文本标记持续多长时间？
MAS仅在训练时需要；学习的持续时间预测器在推理时提供每个令牌帧计数，从而实现并行生成。