概述
其各届比赛在噪声条件下测试感知质量和可懂度;挑战赛结果并未确立哪些商业应用使用了某种方法。
深入探讨
Microsoft 于 2020 年启动了 DNS 挑战赛,并在 INTERSPEECH 和 ICASSP 上举办了多届比赛。该挑战赛发布了语音和噪声数据、通用测试集以及基准,以便研究人员能够在标准化条件下比较抑制系统。2022 年的 ICASSP 届次包括了移动设备场景和个性化赛道。它将 ITU-T P.835 对语音质量 (SIG)、背景质量 (BAK) 和总体质量 (OVRL) 的主观评分,与基于自动语音识别的客观可懂度指标——词准确率 (WAcc) 结合起来。因此,DNS 各届比赛将听觉评判与其他测量指标相结合,而不是用单一评分取代所有先前的指标。
现实世界的实施
在共享的带噪语音测试集上对语音增强系统进行基准测试
测试个性化抑制功能,该功能可保留已注册的目标发言人,同时衰减其他说话人
评估用于会议或辅助音频研究的语音质量和可懂度
使用发布的训练数据和基准来比较增强方法
深度噪声抑制挑战的未来
共享基准使得结果更易于比较,但基准得分并不能保证在每个房间、设备、语言或会议应用中的性能。未来的评估可以测试更现实的麦克风、运动和延迟预算,同时报告感知质量和可懂度。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意,语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境,准确性可能会下降。
- 如果没有明确的标签,合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是深度噪声抑制挑战赛?
由 Microsoft 组织的深度噪声抑制 (DNS) 挑战赛为研究人员提供了用于语音增强的共享数据和评估任务。其各个版本测试了噪声条件下的感知质量和可懂度;挑战赛结果并未确定哪些商业应用使用了某种方法。
谁组织了深度噪声抑制 (DNS) 挑战赛?
DNS 挑战赛由 Microsoft 组织,并在与 INTERSPEECH 和 ICASSP 等会议相关的各个版本中举办。
为 DNS 挑战赛构建的系统的主要目标是什么?
该挑战的目标是实时语音增强,抑制噪音,同时保留说话者的声音。
为什么实时语音增强系统要限制算法的前瞻量?
前瞻可能很有用,但对未来样本进行缓冲会增加延迟;实时系统需要在上下文与延迟预算之间取得平衡。
DNS 条目中的一项常见技术是预测“掩码”。面膜有什么作用?
时频掩模与噪声频谱相乘,以抑制噪声主导的频段并保留语音。
2022 年 DNS 挑战赛增加了哪些数据和测试条件?
2022 年的版本在盲测集中增加了移动设备场景,并使训练和测试数据达到 48 kHz 的全频带。