概述
其流水线结合了自回归语音标记生成、扩散解码和基于 CLVP 的候选排序；项目的推理设置通过更长的生成时间换取更多候选采样和排序。
深入探讨
James Betker 2023 年的论文《通过扩展实现更好的语音合成》将 Tortoise 描述为一种表达力强的多声线文本转语音系统，使用自回归 Transformer 和扩散方法进行语音合成。该项目接受文本和参考语音样本，生成候选语音输出，并使用 CLVP 对候选进行排序。其实现可以采样多个候选并进行精炼，增加计算时间。模型是开源的，但输出质量、速度和语音相似度取决于设置、输入参考和硬件；论文并未证明其优于商业系统或具备普遍自然性。
现实世界的实施
在受控合成实验中比较不同参考片段的条件化
测量候选数量如何影响延迟和选定输出质量
在复现语音样本时检查自回归和扩散条件潜在变量
在比较生成的候选时，将 CLVP 分数与听感评审一起使用
Tortoise TTS 自回归合成的未来
Tortoise 是一个有用的开源实现，可用于研究结合自回归生成和扩散解码的多声线合成。评估应报告模型版本、参考条件、候选采样设置、延迟以及人工听感标准；使用语音还需获得适当的同意和审查。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是 Tortoise TTS 自回归合成？
Tortoise 是一个开源的多声线文本转语音系统，作者强调其注重质量。其流水线结合了自回归语音标记生成、扩散解码和基于 CLVP 的候选排序；项目的推理设置通过更长的生成时间换取更多候选采样和排序。
Tortoise 的自回归 Transformer 在合成流水线中起什么作用？
Tortoise 论文和项目描述了一种自回归 Transformer，它在扩散解码器合成音频之前，根据文本和语音条件生成语音标记。
仅用几个简短的参考剪辑，Tortoise 就能做什么？
Tortoise 执行少量声音克隆，从少量短样本中再现声音。
哪两个模型系列对 Tortoise 的设计影响最大？
乌龟采用了从图像生成到语音的自回归变压器和扩散技术。
Tortoise 如何在多个生成的候选者中进行选择？
CLVP 评分模型对候选代的忠诚度进行排名，让 Tortoise 保留最佳选择。
谁创建了乌龟 TTS？
Tortoise TTS 由 James Betker 创建，于 2022 年左右发布。