音频人工智能指南

深度噪声抑制挑战

由 Microsoft 组织的深度噪声抑制 (DNS) 挑战赛为研究人员提供了语音增强的共享数据和评估任务。

听听这个指南AI叙述 · ~2 min

在本页阅读时间:2分钟
  1. 概述
  2. 深入探讨
  3. 现实世界的实施
  4. 深度噪声抑制挑战的未来
  5. 付诸实践
  6. 不断探索
  7. 常见问题

概述

其各届比赛在噪声条件下测试感知质量和可懂度;挑战赛结果并未确立哪些商业应用使用了某种方法。

深入探讨

Microsoft 于 2020 年启动了 DNS 挑战赛,并在 INTERSPEECH 和 ICASSP 上举办了多届比赛。该挑战赛发布了语音和噪声数据、通用测试集以及基准,以便研究人员能够在标准化条件下比较抑制系统。2022 年的 ICASSP 届次包括了移动设备场景和个性化赛道。它将 ITU-T P.835 对语音质量 (SIG)、背景质量 (BAK) 和总体质量 (OVRL) 的主观评分,与基于自动语音识别的客观可懂度指标——词准确率 (WAcc) 结合起来。因此,DNS 各届比赛将听觉评判与其他测量指标相结合,而不是用单一评分取代所有先前的指标。

现实世界的实施

在共享的带噪语音测试集上对语音增强系统进行基准测试

测试个性化抑制功能,该功能可保留已注册的目标发言人,同时衰减其他说话人

评估用于会议或辅助音频研究的语音质量和可懂度

使用发布的训练数据和基准来比较增强方法

深度噪声抑制挑战的未来

共享基准使得结果更易于比较,但基准得分并不能保证在每个房间、设备、语言或会议应用中的性能。未来的评估可以测试更现实的麦克风、运动和延迟预算,同时报告感知质量和可懂度。

付诸实践

为什么这很重要

  • 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
  • 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
  • 速度与规模. 面向客户的系统可以处理更大规模的语音交互。

留意

  • 如果未征得同意,语音滥用和冒充风险就会增加。
  • 由于口音、方言或嘈杂的环境,准确性可能会下降。
  • 如果没有明确的标签,合成音频可能会被误认为是真实的语音。

后续步骤

  1. 获得语音捕获、克隆和重用的明确同意。
  2. 测试不同扬声器和背景条件下的质量。
  3. 定义人员必须审查或批准输出的时间。
  4. 标记合成音频并保留来源记录以供问责。

不断探索

免费通讯

获取每日AI简报

每个工作日早晨提供三条经过验证的AI故事,使用简明英文撰写。永久免费,无广告。

每个工作日发送一封邮件。一键退订。我们永不出售或分享您的地址。

测试一下自己

参加深度噪声抑制挑战赛测试

每个答案即时反馈,课程通过后可获得可验证ID的可分享证书。

开始测验

支持免费AI教育。AI Understanding是一家501(c)(3)非营利组织——无广告,无付费墙,永不收费。 捐款

常见问题

什么是深度噪声抑制挑战赛?

由 Microsoft 组织的深度噪声抑制 (DNS) 挑战赛为研究人员提供了用于语音增强的共享数据和评估任务。其各个版本测试了噪声条件下的感知质量和可懂度;挑战赛结果并未确定哪些商业应用使用了某种方法。

谁组织了深度噪声抑制 (DNS) 挑战赛?

DNS 挑战赛由 Microsoft 组织,并在与 INTERSPEECH 和 ICASSP 等会议相关的各个版本中举办。

为 DNS 挑战赛构建的系统的主要目标是什么?

该挑战的目标是实时语音增强,抑制噪音,同时保留说话者的声音。

为什么实时语音增强系统要限制算法的前瞻量?

前瞻可能很有用,但对未来样本进行缓冲会增加延迟;实时系统需要在上下文与延迟预算之间取得平衡。

DNS 条目中的一项常见技术是预测“掩码”。面膜有什么作用?

时频掩模与噪声频谱相乘,以抑制噪声主导的频段并保留语音。

2022 年 DNS 挑战赛增加了哪些数据和测试条件?

2022 年的版本在盲测集中增加了移动设备场景,并使训练和测试数据达到 48 kHz 的全频带。