概述
它不同於語音克隆,後者從樣本音訊中再現特定的說話者。這很重要,因為創作者可以為有聲讀物、遊戲和應用程式獲得獨特的聲音,而無需克隆任何人的身份,儘管設計的聲音仍然需要謹慎和披露。
深入探討
語音克隆和語音設計解決不同的問題。克隆採用特定人的參考音頻,並根據該說話者的特徵設置文本到語音模型,因此輸出聽起來像他們。聲音設計從文字開始。這個系統將年齡、性別表現、音調、口音、節奏、語調和情緒的描述映射到以前不存在的聲音。困難的部分是訓練資料。為了了解描述與語音的關係,模型需要大量的語音和描述,而花費數千小時進行手動標記是昂貴的。 Stability AI 和愛丁堡大學於 2024 年發表的一篇論文展示了一種解決方法。它自動測量音調、語速、噪音和混響等屬性,將它們與說話者標籤結合,並讓語言模型將它們轉化為聽起來自然的描述。 Hugging Face 的開源 Parler-TTS 就是基於這種方法建構的。 ElevenLabs 的語音設計功能等商業工具會根據提示產生多個候選語音,並讓使用者儲存他們喜歡的語音。它有助於將聲音特徵(音色、音高範圍、口音)與表達方式(情緒、節奏、強調)分開。某些系統(例如 OpenAI 的可操縱 TTS 模型)可讓您指示預設語音應如何說話,這會改變交付方式,但不會創建新的身份。聲音設計創造了身分本身。這些限制是真實存在的。描述很模糊,因為「溫暖」對不同的人來說意味著不同的東西。從同一提示中產生兩次通常會發出不同的聲音。訓練資料中罕見的口音和年齡的表現不太令人信服。一個常見的誤解是,設計好的聲音不可能與任何人相似。碰巧它聽起來很接近真人,並且許多服務會阻止提及真人姓名的提示。設計好的聲音避免了克隆的大部分同意問題,但公開音訊是合成的仍然很重要。
現實世界的實施
一家遊戲工作室透過提示一位聲音沙啞、說話緩慢的中年鐵匠來製作角色原型,然後在遊戲測試中使用草稿聲音,然後再決定是否選擇人類演員。
一位有聲書製作人從「三十多歲的冷靜女性敘述者、中性口音、不緊不慢的節奏」中生成了多個預覽,然後選擇一個並保存,以便每一章都使用相同的聲音。
開發人員使用開源 Parler-TTS 模型,並透過提示描述說話者在安靜的房間裡快速說話,透過文字控制語音和錄音條件。
使用語音生成設備並且沒有自己的語音錄音的人會設計符合其年齡和地區口音的語音生成設備,而不是使用通用預設設定。
從文字描述看人工智慧語音設計的未來
期待更精細的控制,例如根據年齡或呼吸音調整滑桿設計的聲音,更好地處理代表性不足的口音和語言,以及身份和交付之間更緊密的分離。安全措施也可能會不斷發展:阻止提示命名真實人物的過濾器、針對已知聲音的相似性檢查以及音訊浮水印或出處元資料。僅類似於真人的聲音的法律處理尚未確定,並且因司法管轄區而異,因此專業使用者應保留聲音創建方式的文件。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是基於文字描述的AI語音設計?
AI語音設計根據書面描述創造出全新的合成聲音,例如“溫暖的老年男性敘述者,略帶刺耳的聲音”,而不是複製真人的錄音。它不同於語音克隆,後者從樣本音訊中再現特定的說話者。這很重要,因為創作者可以為有聲讀物、遊戲和應用程式獲得獨特的聲音,而無需克隆任何人的身份,儘管設計的聲音仍然需要謹慎和披露。
語音設計和語音克隆的核心差異是什麼?
真人錄音的克隆條件。設計將書面描述映射為以前不存在的聲音。
為什麼訓練資料是語音設計模型的主要挑戰?
學習單字與聲音的關係需要許多語音描述對,而手寫這些描述無法擴展。
2024 年 Stability AI 和愛丁堡方法如何大規模創建描述?
測量的屬性自動轉換為自然語言描述,避免了大規模的人工標註。
告訴預設聲音聽起來更興奮的指令主要改變了什麼?
控制情緒或節奏會影響交付。聲音的特性(例如音色和音調範圍)保持不變。
為什麼同一描述的兩代人可能會發出不同的聲音?
一個描述適合許多可能的聲音,因此沒有固定的種子或保存的嵌入,每次運行都會採樣不同的聲音。