音频扩散模型
扩散模型通过学习逆转逐步的噪声过程来生成音频，将随机噪声转化为连贯的语音、音乐或声音效果。
概述
They power many of today's most realistic text-to-audio and music-generation systems.
深入探讨
音频扩散模型借鉴了彻底改变图像生成的相同核心思想。在训练过程中，干净的音频会通过在多个步骤中添加高斯噪声而逐渐损坏，直到变成纯静态。神经网络学习在每一步预测并消除噪声。在生成时，模型从随机噪声开始，并通常在文本提示的指导下迭代降噪，以产生干净的信号。许多系统不是在原始波形上运行，而是在压缩的潜在表示或频谱图上运行，这使得生成更快、更容易处理。著名的例子包括 AudioLDM、Stable Audio 和 Riffusion。其结果是跨语音、音乐和环境声音的高保真、可控音频合成。
技术洞察
大多数音频扩散模型不是直接生成长的原始波形，而是在由变分自动编码器生成的学习潜在空间中工作，或者在梅尔频谱图上工作，然后由 HiFi-GAN 等声码器转换为声音。文本调节是通过交叉注意力注入的，通常使用对齐音频和语言的 CLAP 嵌入。通过 DDIM 和蒸馏等技术提高了采样速度，将数百个降噪步骤减少到很少。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
音频扩散模型的未来
期望通过一致性模型和蒸馏实现更快的采样，从而推动实时和流式生成。更长、更具结构性、主歌与合唱连贯的音乐作品正在出现，同时通过修复、主干和参考音频进行更精细的控制。联合生成视频和同步音轨的多模态系统正在迅速发展。随着质量的提高，水印和出处工具对于解决深度伪造、语音克隆和音乐版权问题将变得至关重要。
现实世界的实施
稳定音频通过文本提示为视频创作者生成免版税的背景音乐和声音效果
AudioLDM 为游戏和电影拟音生成逼真的环境声音，例如雨声、脚步声或狗叫声
Riffusion 通过根据流派和乐器提示对频谱图图像进行去噪来创建短音乐剪辑
基于扩散的文本转语音系统，为有声读物和语音助手合成自然、富有表现力的叙述
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Models for Audio quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Diffusion Models for Audio?
扩散模型通过学习逆转逐步的噪声过程来生成音频，将随机噪声转化为连贯的语音、音乐或声音效果。它们为当今许多最真实的文本到音频和音乐生成系统提供动力。
扩散模型在训练过程中学习的核心过程是什么？
扩散模型经过训练可以预测并消除每一步添加的高斯噪声，以便稍后将纯噪声转化为干净的音频。
为什么许多音频扩散模型对潜在波形或频谱图而不是原始波形进行操作？
在压缩的潜在空间或频谱图上工作大大降低了维度，使得训练和采样比直接对长原始波形进行建模更加有效。
在这些模型中，文本提示通常如何用于引导音频生成？
文本调节通常通过交叉注意力输入到去噪网络中，经常使用对齐语言和音频的 CLAP 嵌入。
生成频谱图后，通常如何将其转回声音？
像 HiFi-GAN 这样的声码器将生成的梅尔频谱图转换为可听波形。
哪种技术可以通过减少去噪步骤的数量来加快生成速度？
蒸馏和一致性模型将数百个降噪步骤压缩为几个步骤，从而实现更快的实时采样。