概述
這就是為什麼免持通話、智慧揚聲器和視訊會議無需痛苦的回饋循環即可運作的原因。
深入探討
當您使用免持電話或視訊通話時,揚聲器發出的聲音會被您自己的麥克風拾取並發送回對方,然後對方會延遲聽到自己的聲音。 AEC 透過將遠端訊號(揚聲器播放的訊號)視為已知參考來解決此問題。自適應濾波器模擬聲音如何穿過房間到達麥克風,然後從捕獲的音訊中減去預測的迴聲。由於房間會隨著人們移動或門打開而變化,因此濾波器會不斷即時重新估計此「迴聲路徑」。現代系統將經典濾波器與神經網路配對,處理廉價揚聲器的非線性失真和線性濾波器遺漏的殘餘迴聲。
現實世界的實施
Amazon Echo 等智慧揚聲器取消了自己的音樂播放,因此他們仍然可以在歌曲中聽到「Alexa」。
視訊會議應用程式(Zoom、Microsoft Teams、Google Meet)消除揚聲器迴聲,以便筆記型電腦使用者無需耳機即可免持。
汽車免持呼叫系統消除了儀表板麥克風拾取的車內揚聲器的迴聲。
免持電話和會議室設備使用 AEC,因此遠端呼叫者聽不到自己延遲的聲音。
聲學迴聲消除的未來
AEC 正在從手動調整的訊號處理轉向端到端神經模型,在單一網路中聯合處理迴聲、雜訊和混響。裝置上的深度學習讓耳塞和筆記型電腦能夠以極低的延遲和功耗消除迴聲。 Microsoft 的 ICASSP AEC 挑戰賽加速了這個過程,推動了可在不匹配的採樣率和故障硬體上工作的模型。預計個性化、房間感知的取消會在您穿過空間時立即適應。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是聲學迴聲消除?
迴聲消除 (AEC) 是一項可阻止您在通話過程中聽到自己的聲音反彈的技術。這就是為什麼免持通話、智慧揚聲器和視訊會議無需痛苦的回饋循環的原因。
聲學迴聲消除主要解決什麼問題?
AEC 可消除揚聲器中的音訊被麥克風捕獲並返回給正在通話的人時產生的迴聲。
AEC 系統依靠什麼「參考」訊號來預測迴聲?
AEC 確切地知道它發送到揚聲器的音訊(遠端訊號),因此它使用它作為模型的參考並減去產生的迴聲。
哪種情況對 AEC 來說非常困難並且可能導致自適應濾波器故障?
在雙向通話期間,近端語音可能會被誤認為是迴聲,這可能會破壞濾波器的估計,因此偵測器用於凍結自適應。
經典 AEC 中的自適應濾波器實際上試圖估計什麼?
此濾波器模擬聲音如何從揚聲器通過房間傳播到麥克風,因此它可以合成並減去匹配的迴聲。
為什麼神經網路越來越多地添加到經典 AEC 濾波器之上?
廉價揚聲器會使聲音非線性失真,線性濾波器會留下殘餘迴聲;神經後置濾波器經過訓練可以抑制剩餘的內容,同時保留近端語音。