概述
這很重要,因為它讓訓練變得更簡單,並且綜合過程快速且平行。
深入探討
Kim 及其同事於 2020 年推出的 Glow-TTS 使用基於流的解碼器和稱為單調對齊搜尋 (MAS) 的內建對齊機制從文字生成梅爾頻譜圖。早期的 TTS 系統(例如 Tacotron 2)使用注意力來決定哪個文字字元與哪個音訊幀匹配,但注意力可以跳過單字、重複單字或在長句子上中斷。相反,Glow-TTS 假設對齊必須是單調的(文字從左到右讀取)和滿射的(每個文字標記映射到至少一幀)。它使用動態程式在訓練期間找到最有可能的這種對齊方式,然後小持續時間預測器學習在推理時重現它。這產生了穩健、並行且可控的語音生成。
現實世界的實施
訓練強大的有聲書旁白聲音,使其不會跳過或重複長段落中的單詞
為基於 VITS 的開源語音助理和螢幕閱讀器的對齊階段提供支持
建立可控的 TTS,您可以在語言學習應用程式中拉伸或壓縮音素持續時間,以實現緩慢、清晰的發音
為手動對齊資料稀缺的低資源語言產生合成語音資料集
Glow-TTS 單調對齊的未來
Glow-TTS 首創的單調對齊思想現已成為許多現代非自回歸系統的基礎,其中包括 VITS,它將其與聲碼器融合以產生端到端波形。預計將繼續在資源匱乏的語言、設備上的即時語音以及必須明確編輯持續時間、音高和節奏的可控語音中使用 MAS 風格的硬對齊。擴散和流匹配 TTS 越來越多地借用這種乾淨的文本到幀映射來實現穩定性。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 Glow-TTS 單調對齊?
Glow-TTS 是一種文字轉語音模型,它可以使用巧妙的搜尋技巧自行學習將文字與語音對齊,從而無需單獨的對齊器。這很重要,因為它使訓練更簡單,合成快速且並行。
Glow-TTS 旨在解決基於注意力的 TTS 的哪些問題?
注意力可能會在長輸入上失靈,導致跳過或重複單字; Glow-TTS 強制執行單調對齊以避免這種情況。
MAS 在 Glow-TTS 代表什麼?
MAS 是單調對齊搜索,是一種動態編程例程,可找到最佳的文本到幀對齊方式。
為什麼對齊要求是單調的?
語音按順序讀取文本,因此隨著時間的推移,對齊必須在文本中向前移動。
Glow-TTS 使用什麼類型的解碼器來建模頻譜圖?
Glow-TTS 使用基於流的解碼器,這給出了 MAS 可以最大化過度對齊的確切可能性。
在推理時,Glow-TTS 如何決定每個文本標記持續多久?
MAS僅在訓練時需要;學習的持續時間預測器在推理時提供每個令牌幀計數,從而實現並行生成。