概述
其各屆比賽測試噪聲環境下的感知品質和可懂度;挑戰賽結果並未確定哪些商業應用程式使用了該方法。
深入探討
Microsoft 於 2020 年啟動 DNS 挑戰賽,並在 INTERSPEECH 和 ICASSP 上舉辦了各屆比賽。該挑戰賽發布了語音和噪聲數據、通用測試集和基準線,以便研究人員在標準化條件下比較抑制系統。2022 年 ICASSP 屆次包含了移動設備場景和個人化賽道。它將 ITU-T P.835 主觀評分的語音品質(SIG)、背景品質(BAK)和整體品質(OVRL)與詞準確率(WAcc)相結合,後者是一種基於自動語音識別的客觀可懂度指標。因此,DNS 各屆比賽將聽覺判斷與其他測量相結合,而不是用單一分數取代所有先前的指標。
現實世界的實施
在共享的含噪語音測試集上對語音增強系統進行基準測試
測試個人化抑制功能,該功能可保留已註冊的目標講者,同時衰減其他說話者
評估用於會議或輔助音訊研究的語音品質與可懂度
使用發布的訓練數據和基準線來比較增強方法
深度噪音抑制挑戰的未來
共享基準使結果更容易比較,但基準分數並不保證在所有房間、設備、語言或會議應用程式中的性能。未來的評估可以測試更真實的麥克風、移動和延遲預算,同時報告感知品質和可懂度。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是深度降噪挑戰賽?
由 Microsoft 主辦的深度降噪(DNS)挑戰賽,為研究人員提供語音增強的共享數據和評估任務。其各屆比賽測試噪聲環境下的感知品質和可懂度;挑戰賽結果並未確定哪些商業應用程式使用了該方法。
誰主辦了深度降噪(DNS)挑戰賽?
DNS 挑戰賽由 Microsoft 主辦,並在與 INTERSPEECH 和 ICASSP 等場所相關聯的各屆比賽中舉行。
為 DNS 挑戰賽建置的系統的主要目標是什麼?
這個挑戰的目標是即時語音增強,抑制噪音,同時保留說話者的聲音。
為什麼實時語音增強系統要限制演算法預覽(lookahead)?
預覽可能有用,但緩衝未來樣本會增加延遲;實時系統在上下文和延遲預算之間取得平衡。
DNS 項目中的常見技術是預測「掩碼」。面膜有什麼作用?
時頻掩模與噪音頻譜相乘,以抑制噪音主導的頻段並保留語音。
2022 年 DNS 挑戰賽增加了哪些數據和測試條件?
2022 年屆次在盲測試集中增加了移動設備場景,並使訓練和測試數據成為 48 kHz 的全頻帶。