概述
它将扩散模型引入了高保真语音领域，在无需对抗训练的情况下，其表现足以媲美 GAN 和 WaveNet。
深入探讨
DiffWave，由 Kong 等人提出。 2020年，将去噪扩散概率模型框架应用于原始音频。在训练过程中，它会通过多个步骤逐渐将高斯噪声添加到干净的波形中，然后学习网络来预测并消除每一步的噪声。在生成时，它从纯噪声开始，并以梅尔频谱图为条件运行相反的过程，以恢复干净的语音。主干网络是一个非自回归扩张卷积网络，类似于 WaveNet，但预测的是噪声而不是样本。 DiffWave 在质量上可与强大的声码器相媲美，而且非常稳健，甚至可以产生合理的无条件语音和跨说话者一致的结果。主要的权衡是速度：简单采样需要数十到数千个步骤，尽管快速的时间表将其减少到六步。
现实世界的实施
高保真神经文本转语音后端，可避免不稳定的 GAN 训练
用于数据增强和音频研究的无条件语音生成
扬声器稳健的语音合成，其中一个模型可以一致地处理多种语音
快速采样扩散研究的测试平台，将短噪声时间表应用于实时音频
DiffWave 扩散声码器的未来
DiffWave 推出了扩散声码器和更快的后继产品，例如 PriorGrad 和 FastDiff，可大幅减少步数。该领域正在融合蒸馏和一致性模型技术，旨在实现单步扩散采样，缩小与 GAN 声码器的速度差距，同时保持扩散的稳定训练和鲁棒性。预计传播思想将进一步传播到音乐、神经编解码器和通用音频生成领域，这些领域模式覆盖很重要。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是 DiffWave 扩散声码器？
DiffWave 是一种基于扩散的声码器，通过迭代地将随机噪声去噪为以梅尔频谱图为条件的波形来合成音频。它将扩散模型引入了高保真语音中，无需对抗性训练即可与 GAN 和 WaveNet 相媲美。
DiffWave 如何在推理时生成音频？
DiffWave 从高斯噪声开始，运行反向扩散过程，在梅尔频谱图的条件下重复去噪，以产生波形。
DiffWave 网络在训练期间实际上学会预测什么？
DiffWave 使用加权 L2 损失训练网络来预测在随机选择的扩散步骤中添加的高斯噪声。
与 GAN 声码器相比，DiffWave 的主要实际缺点是什么？
朴素扩散采样需要许多反向步骤；尽管快速的时间表有所帮助，但迭代过程是主要的速度成本。
DiffWave 在训练中相对于 GAN 声码器有什么优势？
扩散模型采用稳定的回归式目标进行训练，避免了对抗性 GAN 训练可能遭受的不稳定性。
DiffWave 的噪声预测网络类似于什么架构？
DiffWave 使用类似于 WaveNet 的扩张卷积的非自回归主干，但它预测噪声而不是音频样本。