概述
每篇论文都报告其规定的数据、模型和评估协议的结果；这些发现并不能保证在其他环境下具有相同的性能。
深入探讨
NaturalSpeech (2022) 根据其 LJSpeech 评估协议报告了人类水平的质量。 NaturalSpeech 2 使用具有残差矢量量化和扩散功能的神经音频编解码器来生成以文本和语音提示为条件的编解码器潜在值，从而实现零样本语音和歌唱实验。 NaturalSpeech 3 将编解码器表示分解为内容、韵律、音色和声学细节子空间，并通过分解扩散生成属性。这些是不同的版本和方法。人类水平的质量或高度相似性等主张是指特定的基准评估，不应被解读为普遍比较。高质量的语音合成也会引起同意和冒充的担忧；部署应遵循适用的政策并获得对所使用的任何说话者肖像或语音的授权。
现实世界的实施
配音工作室使用 NaturalSpeech 2 式零镜头克隆技术，从简短样本中克隆演员的声音，以对电影进行本地化。
有声读物平台生成人类水平的叙述，听众很难将其与真正的配音人才区分开来。
辅助工具可以为失语者从旧录音中重新创建一个人自己的声音。
内容创建套件让编辑人员能够利用 NaturalSpeech 3 的分解属性独立调整音色和韵律。
自然语音和潜在扩散 TTS 的未来
基于扩散和因式分解的 TTS 可能实现更自然且可控的语音，但其能力和滥用风险取决于模型和部署方式。FTC 记录了人工智能语音克隆带来的欺诈和冒充风险，并讨论了身份验证、检测和水印等干预措施。NIST 调查了来源追踪和合成内容标记方法，同时也指出了技术局限性。这些措施可以支持透明度，但不能保证获得同意、真实性或防止滥用；部署应包含适当的许可和滥用防护措施。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是 NaturalSpeech 和潜在扩散 TTS？
Microsoft Research 的 NaturalSpeech 系列论文探索了神经文本转语音技术，包括编解码器潜变量扩散和因式分解语音表示。每篇论文都报告了其特定数据、模型和评估协议的结果；这些发现并不能保证在其他设置中具有同等表现。
原始 NaturalSpeech 论文在 LJSpeech 评估中报告了什么结果？
该声明仅限于论文的 LJSpeech 评估和协议，并非针对所有说话人或用例的通用结果。
NaturalSpeech 2 的潜在扩散模型实际上生成了什么？
NaturalSpeech 2 扩散编解码器潜伏，这些潜伏比原始波形更紧凑且更容易建模，然后将其解码为音频。
扩散模型如何生成高水平的数据？
扩散在训练过程中增加噪声，并学习将其逆转，通过逐步从随机噪声中去噪来生成样本。
潜在扩散为 NaturalSpeech 2 提供了哪些关键功能？
通过调节简短的语音提示，NaturalSpeech 2 可以克隆从未接受过明确训练的说话者的声音。
NaturalSpeech 3 的“分解扩散”的中心思想是什么？
分解扩散可以解开内容、韵律、音色和声学细节，因此每个属性都可以单独建模和控制。