Noise2Noise 语音增强
Noise2Noise 是一种训练技巧，可以让模型通过从同一信号的成对不同噪声版本中学习，在没有看到干净参考的情况下学习消除噪声。
概述
For speech enhancement it matters because clean recordings are expensive or impossible to obtain, yet noisy ones are everywhere.
深入探讨
Noise2Noise 由 NVIDIA 研究人员于 2018 年推出，提出了一个令人惊讶的主张：您可以仅使用损坏的示例来训练降噪器。洞察力是统计性的。如果您为网络提供同一基础信号的两个噪声版本，并要求它使用均方误差等损失将一个版本映射到另一个版本，则网络无法预测目标中的随机噪声，因此它最多只能输出期望值，即干净的信号。噪音趋于平均。应用于语音时，您可以发出干净的话语，添加两个独立的噪声样本，然后训练模型来预测一个噪声片段与另一个片段。在推理时，模型会消除真实录音中的噪音。这回避了监督去噪的核心瓶颈：需要完美干净的真实音频。
技术洞察
数学依赖于 L2（均方误差）损失在条件平均值下最小化的属性。如果添加到目标的噪声是零均值并且与输入噪声无关，则不可预测的噪声仅对损失贡献恒定方差，因此梯度下降将网络驱动到底层的干净信号。同样的想法也适用于其他估计器：L1 损失恢复中值，这对脉冲噪声很有用。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
Noise2Noise 语音增强的未来
Noise2Noise 开创了一系列自监督去噪方法，包括 Noise2Void 和 Noise2Self，它们进一步放宽了从单个噪声样本中学习的要求。对于语音，预计这些想法将为助听器、通话和现场录音的设备增强提供支持，在这些领域收集干净的参考资料是不切实际的。与生成声码器相结合，未来的系统不仅可以消除噪声，还可以合理地重建被屏蔽或被破坏的语音内容，同时保持对说话者的忠实。
现实世界的实施
清理没有原始语音干净参考的现场或档案录音
通过在现实世界的噪声捕获上训练降噪器来提高手机和笔记本电脑上的语音通话清晰度
使用配对的噪声录音而不是无法获得的干净音频来增强助听器的语音
恢复嘈杂的旧播客或采访磁带，其中只有降级版本幸存
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Noise2Noise Speech Enhancement quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Noise2Noise Speech Enhancement?
Noise2Noise 是一种训练技巧，可以让模型通过从同一信号的成对不同噪声版本中学习，在没有看到干净参考的情况下学习消除噪声。对于语音增强来说，这一点很重要，因为干净的录音价格昂贵或不可能获得，而嘈杂的录音却无处不在。
Noise2Noise 令人惊讶的核心主张是什么？
Noise2Noise 表明，您可以仅使用损坏的示例对来训练有效的降噪器，而无需干净的目标。
为什么网络不能简单地记住目标剪辑中的噪声？
由于目标的噪声是随机的并且与输入无关，因此网络无法对其进行预测，而是收敛到干净的期望值。
在 L2（均方误差）损失下，网络会向什么方向收敛？
L2 损失在条件均值处最小化，因此在零均值独立目标噪声的情况下，网络输出底层的干净信号。
为了使技巧发挥作用，添加到目标的噪声必须是真实的吗？
目标噪声需要是零均值并且在统计上独立于输入噪声，以便在训练期间达到平均值。
从 L2 丢失切换到 L1 丢失会使网络恢复哪个统计数据？
L1（绝对误差）损失在中值处最小化，这对脉冲噪声更加鲁棒。