概述
它通过微小的模型和少量的数据产生极其自然、可控的乐器声音。
深入探讨
DDSP 由 Google 的 Magenta 团队于 2020 年推出，重新思考神经音频生成。 DDSP 不是一次预测一个原始音频样本（如 WaveNet）或频谱图像素的网络，而是使传统 DSP 组件（谐波加性振荡器、滤波噪声发生器和混响）变得可微。这意味着梯度可以在训练期间流过它们，因此小型神经网络学会输出可解释的控制信号：基本音高、整体响度以及随时间变化的数十个谐波的幅度。然后合成器渲染来自这些控件的实际音频。由于声音的物理原理是融入到架构中的，而不是从头开始学习，DDSP 通过少得多的参数和训练示例实现了高质量，并允许用户独立操纵音高、响度和音色，甚至可以执行音色转换，例如使歌声像小提琴一样演奏。
现实世界的实施
音色传输工具可以将哼唱或演唱的旋律实时重新渲染为小提琴、长笛或小号。
音乐家通过直观的音高、响度和亮度旋钮进行控制的轻量级神经合成器插件。
对录制的乐器进行音高校正和富有表现力的重新合成，同时保留自然的和声细节。
基于浏览器的交互式音乐演示，无需繁重的 GPU 模型即可生成逼真的乐器声音。
DDSP 可微分音频合成的未来
DDSP 正在推动在普通硬件（包括浏览器内和嵌入式设备）上运行的实时、低延迟神经乐器和音频效果。其可解释的控件使其成为富有表现力的演奏工具和混合合成器的理想选择，音乐家可以直接调节音色。研究人员正在将可微 DSP 理念扩展到物理建模、室内声学和完整的音频制作链，将经典信号处理的可控性与音乐创作和声音设计中深度学习的现实性相结合。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是 DDSP 可微分音频合成？
DDSP（可微分数字信号处理）将经典合成器构建块与神经网络融合在一起，因此深度学习可以直接控制振荡器和滤波器。它通过微小的模型和少量的数据产生极其自然、可控的乐器声音。
DDSP背后的关键创新是什么？
DDSP 将传统的合成器构建块转变为可微分模块，让神经网络学习通过反向传播来控制它们。
在DDSP中，神经网络实际输出什么？
网络预测随时间变化的控制参数，并由一个单独的可微分合成器渲染它们的音频 - 它从不直接输出样本。
DDSP 的频谱合成器结合了哪两个核心发声组件？
谐波加性振荡器产生音高的谐波部分，而过滤的噪声则增加呼吸和不和谐的纹理。
为什么DDSP可以用相对较小的模型和很少的数据实现高质量？
由于已知的信号处理结构是内置的而不是从头开始学习，因此网络需要学习的东西要少得多，从而提高了数据和参数效率。
DDSP 使用什么损失函数来稳健地比较生成的音频和目标音频？
比较多种分辨率下的幅度谱图对于相位差具有鲁棒性，而样本级损失则难以应对。