深度噪音抑制挑戰
深度噪音抑制 (DNS) 挑戰賽是一項由 Microsoft 舉辦的競賽，旨在推動研究人員建立能夠即時去除語音中背景噪音的神經網路。
概述
It set the modern benchmarks that power features like Teams and Zoom noise removal.
深入探討
DNS 挑戰賽由 Microsoft 於 2020 年發起，並重複舉辦了幾年（通常在 INTERSPEECH 和 ICASSP 上），為團隊提供了一個包含乾淨語音、噪音片段和綜合混合噪音錄音的大型標準化資料集。至關重要的是，它將評估從 PESQ 等較舊的訊號數學轉向人類聽力分數，並學習了感知品質的預測因素。它還添加了現實世界的嚴酷條件：混響房間、非平穩噪音（打字、狗、警報器）、音調噪音以及模型必須抑制除註冊目標說話者之外的所有人的個人化場景。透過發布數據、基準和通用測試集，實驗室可以進行同類比較，並加速從過濾技巧轉向語音增強的端到端深度學習的轉變。
技術洞察
條目通常將雜訊波形的短時傅立葉變換饋送到預測時頻掩模的循環或卷積網路中。將掩模乘以噪音頻譜會衰減噪音主導的頻段，同時保留語音主導的頻段，然後逆 STFT 重建波形。即時規則限制了演算法延遲（大約 40 毫秒），並且需要因果處理，因此模型在清理當前幀時無法查看未來的音訊。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
深度噪音抑制挑戰的未來
預計該框架將擴展到個性化和多模式抑制，其中嘴唇運動或說話者的聲紋指導保留什麼。耳塞和助聽器的模型正在縮小以在設備上運行，全頻段 48 kHz 處理正在成為標準，因此音樂和高頻得以生存。重新合成乾淨語音（而不僅僅是掩蓋噪音）的生成方法是一個活躍且有時有爭議的前沿領域。
現實世界的實施
Microsoft Teams 和其他視訊通話應用程式中的即時背景噪音消除
在通勤或繁忙的咖啡館期間，耳塞和耳機中的語音捕捉更加清晰
在自動轉錄或字幕之前預處理嘈雜的現場錄音
提高助聽器和助聽設備的清晰度
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deep Noise Suppression Challenge quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Deep Noise Suppression Challenge?
深度噪音抑制 (DNS) 挑戰賽是一項由 Microsoft 舉辦的競賽，旨在推動研究人員建立能夠即時去除語音中背景噪音的神經網路。它設定了現代基準，為 Teams 和 Zoom 噪音消除等功能提供支援。
哪個組織發起了深度噪音抑制 (DNS) 挑戰賽？
Microsoft 於 2020 年發起了 DNS 挑戰賽，並在 INTERSPEECH 和 ICASSP 等場所舉辦。
為 DNS 挑戰賽建置的系統的主要目標是什麼？
這個挑戰的目標是即時語音增強，抑制噪音，同時保留說話者的聲音。
為什麼即時 DNS 處理禁止模型使用未來的音訊幀？
即時對話需要因果、低延遲處理，因此模型只能使用過去和目前的音訊。
DNS 項目中的常見技術是預測「掩碼」。面膜有什麼作用？
時頻掩模與噪音頻譜相乘，以抑制噪音主導的頻段並保留語音。
DNS 挑戰賽如何改變了語音增強的評估方式？
挑戰轉向人類聽力測試並學習感知品質預測因子，而不僅僅是訊號數學。