概述
其作者報告了特定聽力測試的高自然度評級,但這些結果取決於數據集、聽眾和評估協議。
深入探討
StyleTTS 2(Li et al., 2023)將說話風格建模為潛在的隨機變量,並使用擴散來採樣適合文本的風格,而不需要參考語音進行普通合成。它使用大型預訓練語音語言模型(例如 WavLM)作為對抗性判別器,並使用可微持續時間建模進行端到端訓練。作者報告說,在以英語為母語的人的聽力研究中,StyleTTS 2 超越了 LJSpeech 上的人類錄音,並在 VCTK 上與它們相匹配;這些結果特定於研究數據集和協議。該論文單獨評估了在 LibriTTS 上訓練時的零樣本說話者自適應。
現實世界的實施
對同一個書寫句子產生不同的韻律讀法
在 LJSpeech 等單說話者測試集上評估語音自然度
使用單獨的參考剪輯和看不見的揚聲器測試零樣本揚聲器自適應
在受控監聽協議下將產生的語音與人類錄音進行比較
StyleTTS 2 風格擴散的未來
TTS 評估越來越區分自然度、說話者相似度、可懂度以及對未見文本或說話者的穩健性。風格擴散提供了一種對錶達變化進行建模的方法,但人類水平表現的主張應該確定數據集、聽眾小組和比較協議。部署還需要單獨檢查同意、語音身分和生成行為。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 StyleTTS 2 風格擴散?
StyleTTS 2 是一種文字轉語音研究模型,透過擴散對潛在的說話風格進行取樣,並使用預先訓練的語音語言模型進行對抗性訓練。其作者報告了特定聽力測試的高自然度評級,但這些結果取決於數據集、聽眾和評估協議。
StyleTTS 2 使用擴散過程建模什麼?
StyleTTS 2 使用擴散模型對低維風格向量進行取樣,捕捉文字未指定的韻律、情感和說話者特徵。
StyleTTS 2 中使用哪一種預訓練語音模型作為對抗鑑別器?
StyleTTS 2 使用 WavLM 等大型語音語言模型作為對抗訓練中的判別器,將輸出推向人類聽起來的音訊。
為什麼 StyleTTS 2 可以用多種自然的方式說出同一句話?
由於風格被視為隨機變數並透過擴散進行取樣,因此每一代都可以為相同的文字產生不同但自然的韻律。
StyleTTS 2 作者對 LJSpeech 聽力評估報告了什麼?
作者報告說,在他們的聽力協議下,自然度評分高於 LJSpeech 真實錄音;結果特定於該數據集和研究。
「端到端」訓練為 StyleTTS 2 帶來了什麼?
聯合端到端訓練讓最終音訊品質的損失一起更新持續時間預測器、風格編碼器和解碼器,而不是在孤立的階段。