概述
它產生的音訊在關鍵基準上可與人類錄音相媲美。
深入探討
Tacotron 2 有兩個主要部分。首先,具有註意力的序列到序列網路讀取文字字元並逐幀預測梅爾頻譜圖。編碼器將字元轉換為隱藏表示,位置敏感的注意機制將文字與音訊幀對齊,自回歸解碼器發出頻譜圖,而「停止標記」則學習話語何時結束。其次,經過修改的 WaveNet 聲碼器將梅爾頻譜圖轉換為原始波形。透過以這種方式分解問題,Tacotron 2 透過最少的手工設計從數據中學習韻律、發音和節奏。它的平均意見得分接近專業錄音,使其成為自然聲音合成的里程碑,並成為後來神經 TTS 的模板。
現實世界的實施
在 Google 的文字轉語音產品和助理中提供自然的聲音
為有聲書和播客生成富有表現力的旁白
為螢幕閱讀器和輔助軟體提供語音
作為神經 TTS 管道的研究基線和教學範例
Tacotron 2 的未來
Tacotron 2 的兩級設計激發了神經 TTS 的浪潮。更快的非自回歸後繼產品(例如 FastSpeech 2)刪除了順序解碼器以提高速度和穩定性,而 WaveNet 聲碼器現在經常替換為 HiFi-GAN 或擴散模型。該領域正在朝著完全端到端、多揚聲器、富有表現力和零樣本的語音克隆系統發展,但 Tacotron 2 仍然是基於頻譜圖的管道的基礎參考。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
Tacotron 2 是什麼?
Tacotron 2 是來自 Google (2017) 的端對端文字轉語音系統,可將書面文字直接轉換為梅爾頻譜圖,然後由神經聲碼器將其轉換為逼真的語音。它產生的音訊在關鍵基準上可與人類錄音相媲美。
Tacotron 2 從文本預測什麼中間表示?
Tacotron 2 的序列到序列網路可預測梅爾頻譜圖,然後由聲碼器轉換為音訊。
是什麼將 Tacotron 2 的頻譜圖轉換為實際波形?
Tacotron 2 將其頻譜圖預測器與改進的 WaveNet 聲碼器配對以產生最終的原始音訊。
位置敏感注意力有助於防止什麼問題?
透過考慮先前的對齊方式,位置敏感的注意力可以減少單字重複或丟失等失敗。
How does Tacotron 2 determine that it has generated the end of an utterance?
Tacotron 2 predicts a stop token alongside mel frames; generation ends when the learned stopping condition is met.
文字到頻譜圖部分使用什麼整體架構風格?
Tacotron 2 使用編碼器-解碼器序列到序列模型,注意將字元對應到頻譜圖幀。