音訊人工智慧指南

深度噪音抑制挑戰

由 Microsoft 主辦的深度降噪(DNS)挑戰賽,為研究人員提供語音增強的共享數據和評估任務。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 深度噪音抑制挑戰的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

其各屆比賽測試噪聲環境下的感知品質和可懂度;挑戰賽結果並未確定哪些商業應用程式使用了該方法。

深入探討

Microsoft 於 2020 年啟動 DNS 挑戰賽,並在 INTERSPEECH 和 ICASSP 上舉辦了各屆比賽。該挑戰賽發布了語音和噪聲數據、通用測試集和基準線,以便研究人員在標準化條件下比較抑制系統。2022 年 ICASSP 屆次包含了移動設備場景和個人化賽道。它將 ITU-T P.835 主觀評分的語音品質(SIG)、背景品質(BAK)和整體品質(OVRL)與詞準確率(WAcc)相結合,後者是一種基於自動語音識別的客觀可懂度指標。因此,DNS 各屆比賽將聽覺判斷與其他測量相結合,而不是用單一分數取代所有先前的指標。

現實世界的實施

在共享的含噪語音測試集上對語音增強系統進行基準測試

測試個人化抑制功能,該功能可保留已註冊的目標講者,同時衰減其他說話者

評估用於會議或輔助音訊研究的語音品質與可懂度

使用發布的訓練數據和基準線來比較增強方法

深度噪音抑制挑戰的未來

共享基準使結果更容易比較,但基準分數並不保證在所有房間、設備、語言或會議應用程式中的性能。未來的評估可以測試更真實的麥克風、移動和延遲預算,同時報告感知品質和可懂度。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加深度降噪挑戰賽測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是深度降噪挑戰賽?

由 Microsoft 主辦的深度降噪(DNS)挑戰賽,為研究人員提供語音增強的共享數據和評估任務。其各屆比賽測試噪聲環境下的感知品質和可懂度;挑戰賽結果並未確定哪些商業應用程式使用了該方法。

誰主辦了深度降噪(DNS)挑戰賽?

DNS 挑戰賽由 Microsoft 主辦,並在與 INTERSPEECH 和 ICASSP 等場所相關聯的各屆比賽中舉行。

為 DNS 挑戰賽建置的系統的主要目標是什麼?

這個挑戰的目標是即時語音增強,抑制噪音,同時保留說話者的聲音。

為什麼實時語音增強系統要限制演算法預覽(lookahead)?

預覽可能有用,但緩衝未來樣本會增加延遲;實時系統在上下文和延遲預算之間取得平衡。

DNS 項目中的常見技術是預測「掩碼」。面膜有什麼作用?

時頻掩模與噪音頻譜相乘,以抑制噪音主導的頻段並保留語音。

2022 年 DNS 挑戰賽增加了哪些數據和測試條件?

2022 年屆次在盲測試集中增加了移動設備場景,並使訓練和測試數據成為 48 kHz 的全頻帶。