波網
WaveNet 是 DeepMind 於 2016 年推出的突破性神經網絡，它一次產生一個原始音訊樣本，產生極其自然的語音和音樂。
概述
It set the modern standard for high-fidelity text-to-speech.
深入探討
WaveNet 是一種自回歸生成模型：它根據先前的所有樣本來預測每個音訊樣本，通常每秒 16,000 或 24,000 個樣本。它的核心創新是一堆擴張因果卷積。因果意味著模型只回顧時間，保留生成順序；膨脹意味著每一層都會跳過指數增長的樣本數量，因此適度的堆疊可以覆蓋數千個樣本（寬廣的感受野），而無需巨大的成本。以語言特徵或梅爾頻譜圖為條件，WaveNet 產生的語音比之前的串聯和參數聲碼器更自然，縮小了與人類錄音的大部分差距，並為 Google Assistant 的早期版本提供支援。
技術洞察
擴張卷積是關鍵技巧：擴張率為 1、2、4、8 等，僅數十層深的網絡就可以處理數千個過去的樣本，捕獲精細的波形細節和更長的韻律結構。輸出將每個樣本的值建模為分類分佈（最初透過 mu-law 壓擴為 256 個等級），門控活化單元加上殘差和跳過連接穩定了這個非常深的堆疊的訓練。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
WaveNet 的未來
最初的 WaveNet 速度很慢，因為採樣是連續的。後繼者解決了這個問題：並行 WaveNet 和 WaveRNN 支援即時合成，後來基於流和 GAN 的聲碼器（如 WaveGlow 和 HiFi-GAN）以及擴散聲碼器進一步提高了質量和速度。 WaveNet 的自回歸、擴張卷積思想在這些系統中得到了延續，並影響了音訊之外的架構，鞏固了其在生成建模領域的遺產。
現實世界的實施
為 Google 助理和 Google 雲端文字轉語音產生自然的聲音
充當神經聲碼器，將梅爾頻譜圖轉換為 TTS 管道（如 Tacotron 2）中的波形
從原始音訊合成逼真的鋼琴和器樂
用於輔助工具和有聲書旁白的語音合成
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WaveNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is WaveNet?
WaveNet 是 DeepMind 於 2016 年推出的突破性神經網絡，它一次產生一個原始音訊樣本，產生極其自然的語音和音樂。它為高保真文字轉語音設定了現代標準。
WaveNet 如何產生音訊？
WaveNet 是自回歸的：它根據先前的樣本來預測每個音訊樣本。
WaveNet 的關鍵卷積創新是什麼？
擴張因果卷積使網路能夠有效地覆蓋數千個過去的樣本，同時僅向後查看時間。
為什麼膨脹對 WaveNet 有幫助？
指數級增加的膨脹率可以為數千個具有相對較少層數的樣本提供較寬的感受野。
最初的 WaveNet 的主要實際缺點是什麼？
由於每個樣本都依賴先前的樣本，因此生成是連續的，因此速度很慢，這激勵了 Parallel WaveNet 和其他後繼者。
在文字轉語音的管道中，WaveNet 通常扮演什麼角色？
WaveNet 可以取得梅爾頻譜圖（例如，來自 Tacotron 2）並產生最終的自然聲音波形。