概述
每篇論文都報告其規定的數據、模型和評估協議的結果;這些發現並不能保證在其他環境下具有相同的性能。
深入探討
NaturalSpeech (2022) 根據其 LJSpeech 評估協議報告了人類層面的品質。 NaturalSpeech 2 使用具有殘差向量量化和擴散功能的神經音訊編解碼器來產生以文字和語音提示為條件的編解碼器潛在值,從而實現零樣本語音和歌唱實驗。 NaturalSpeech 3 將編解碼器表示分解為內容、韻律、音色和聲學細節子空間,並透過分解擴散產生屬性。這些是不同的版本和方法。人類層級的品質或高度相似性等主張是指特定的基準評估,不應被解讀為普遍比較。高品質的語音合成也會引起同意和冒充的擔憂;部署應遵循適用的政策並獲得對所使用的任何說話者肖像或語音的授權。
現實世界的實施
配音工作室使用 NaturalSpeech 2 式零鏡頭克隆技術,從簡短樣本中克隆演員的聲音,以對電影進行本地化。
有聲書平台產生人類層次的敘述,聽眾很難將其與真正的配音人才區分開來。
輔助工具可以為失語者從舊錄音中重新創建一個人自己的聲音。
內容創建套件讓編輯人員能夠利用 NaturalSpeech 3 的分解屬性獨立調整音色和韻律。
自然語音與潛在擴散 TTS 的未來
基於擴散和分解的 TTS 可以實現更自然和可控的語音,而功能和誤用風險取決於模型和部署。 FTC 記錄了人工智慧語音克隆帶來的詐欺和冒充風險,並討論了身份驗證、檢測和浮水印等乾預措施。 NIST 調查了來源追蹤和合成內容標籤方法,同時注意到了技術限制。這些措施可以支持透明度,但不能保證同意、真實性或防止濫用;部署應包括適當的許可和濫用保護措施。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是自然語音和潛在擴散 TTS?
Microsoft Research 的 NaturalSpeech 論文探討了神經文本轉語音,包括編解碼器潛在擴散和因子化語音表示。每篇論文都報告其規定的數據、模型和評估協議的結果;這些發現並不能保證在其他環境下具有相同的性能。
最初的 NaturalSpeech 論文對其 LJSpeech 評估報告了什麼?
該聲明的範圍僅限於該論文的 LJSpeech 評估和協議,而不是每個演講者或用例的一般結果。
NaturalSpeech 2 的潛在擴散模型實際上產生了什麼?
NaturalSpeech 2 擴散編解碼器潛伏,這些潛伏比原始波形更緊湊且更容易建模,然後將其解碼為音訊。
擴散模型如何產生高水準的數據?
擴散在訓練過程中增加噪聲,並學習將其逆轉,透過逐步從隨機噪聲中去雜訊來產生樣本。
潛在擴散為 NaturalSpeech 2 提供了哪些關鍵功能?
透過調節簡短的語音提示,NaturalSpeech 2 可以複製從未接受過明確訓練的說話者的聲音。
NaturalSpeech 3 的「分解擴散」的中心思想是什麼?
分解擴散可以解開內容、韻律、音色和聲學細節,因此每個屬性都可以單獨建模和控制。