概述
其管線結合自回歸語音標記生成、擴散解碼與基於 CLVP 的候選排序;專案的推論設定以較多的候選抽樣與排序換取較長的生成時間。
深入探討
James Betker 於 2023 年的論文「透過擴大規模提升語音合成」提出 Tortoise 作為一個具表現力的多聲線文字轉語音系統,使用自回歸 Transformer 與擴散方法於語音上。該專案接受文字與參考語音樣本,產生候選語音輸出,並利用 CLVP 依文字對候選進行排序。其實作可抽樣多個候選並進行精煉,增加計算時間。模型為開源,但輸出品質、速度與聲音相似度取決於設定、輸入參考與硬體;論文並未證明其優於商業系統或具普遍自然性。
現實世界的實施
在受控合成實驗中比較不同參考剪輯的條件設定
測量候選數量如何影響延遲與選擇的輸出品質
檢查在重現語音樣本時的自回歸與擴散條件潛在向量
在比較生成的候選者時,請同時使用 CLVP 分數與聆聽評審
Tortoise TTS 自回歸合成的未來
Tortoise 是一個有用的開源實作,可用於研究結合自回歸生成與擴散解碼的多聲音合成。評估應報告模型版本、參考條件、候選抽樣設定、延遲以及人類聆聽標準;使用聲音也需要適當的同意與審查。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 Tortoise TTS 自回歸合成?
Tortoise 是一個開源多聲音文字轉語音系統,作者將其描述為強調品質。其流程結合自回歸語音 token 生成、擴散解碼以及基於 CLVP 的候選排序;該專案的推論設定以較多的候選抽樣與排序換取更長的生成時間。
Tortoise 的自回歸 transformer 在合成流程中扮演什麼角色?
Tortoise 的論文與專案描述了一個自回歸 transformer,先從文字與聲音條件生成語音 token,然後由擴散解碼器合成音訊。
僅用幾個簡短的參考剪輯,Tortoise 就能做什麼?
Tortoise 執行少量聲音克隆,從少量短樣本再現聲音。
哪兩個模型系列對 Tortoise 的設計影響最大?
烏龜採用了從影像生成到語音的自回歸變壓器和擴散技術。
Tortoise 如何在多個生成的候選者中進行選擇?
CLVP 評分模型對候選代的忠誠度進行排名,讓 Tortoise 保留最佳選擇。
誰創建了烏龜 TTS?
Tortoise TTS 由 James Betker 創建,於 2022 年左右發布。