概述
文本转语音系统可以对这些变量进行建模，从而对同一文本产生不同的有效语音实现形式。
深入探讨
韵律包含音高变化、时长、能量和重音。FastSpeech 2 将音高、能量和时长建模为条件输入，以帮助解决从文本到语音的一对多映射问题。关于韵律迁移的研究表明，合成器可以将其输出建立在参考声学表示的条件之上，以重现参考语音的韵律特征，即使参考说话者和输出说话者不同也是如此。一项针对 410 个自然出现的美国英语一般疑问句的语料库研究发现，其语调轮廓各不相同；该语料库中最常见的核心语调轮廓是低升调。这些研究结果仅适用于其特定的任务、说话者和语言变体。
现实世界的实施
在文本转语音系统中预测音素时长和音高。
使用参考音频使合成的语音符合目标韵律模式。
测试重音如何改变对口语句子中焦点的理解。
在特定的语音语料库上测量疑问句调型，而不是假设存在通用的语调规则。
韵律建模的未来
评估目标说话人、语言和语篇语境下的合成韵律。在一个语料库或方言中常见的调型未必是普适的，并且应针对预期的表达方式和说话人身份来评估参考迁移。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是韵律建模？
韵律建模关乎音高、时长、能量和重音等决定语音表达方式的特征。文本转语音系统可以对这些变量进行建模，从而为同一文本生成多种合理且不同的口语实现形式。
哪组特征最能描述语音韵律？
韵律是指位于单词之上的语音、语调（音调）、节奏和持续时间、重音和能量（响度）的超音段品质。
在韵律建模中，基频（F0）代表什么？
F0 是发声的基频，即声带的振动率，我们听到的就是声音的音高或旋律。
FastSpeech 2 与早期模型相比如何改进韵律控制？
FastSpeech 2 引入了一个方差适配器，可以显式地预测持续时间、音高和能量，比纯粹的隐式注意力对韵律进行更直接、更稳定的控制。
为什么仅从文本预测韵律被认为是一对多问题？
根据意图和情感，相同的单词可以有无数种方式表达，因此模型必须在许多有效的韵律读数中进行选择，而不是计算单个答案。
在一个包含 410 个自然发生的美国英语一般疑问句的语料库中，哪个核心调型最频繁？
被引用的语料库研究报告称，低升调核心调型是其抽样的 410 个自然发生的美国英语一般疑问句中最常见的模式；这并非普适规则。