概述
它是人们期待已久的实时对话“万能翻译器”。
深入探讨
语音到语音翻译将源语言的音频转换为目标语言的音频。经典的方法是级联：语音识别 (ASR) 转录输入，机器翻译转换文本，文本转语音 (TTS) 说出结果。这可行，但会在每个阶段累积错误并增加延迟。较新的“直接”或端到端系统可以通过更少的中间文本步骤将语音翻译成语音，从而减少延迟并更好地保留表达质量。 Meta 的 SeamlessM4T 和 Seamless 套件可翻译大约 100 种语言，旨在保持说话者的声音风格、情感和节奏。一个难题是实时、低延迟的翻译：系统必须在句子结束之前开始翻译，平衡速度和准确性。
现实世界的实施
实时视频通话翻译，让参与者可以说自己的语言并用自己的语言听到对方的声音。
出国旅行时可即时翻译对话的耳塞和 AR 眼镜。
将电影和视频配音成其他语言，同时保留原始说话者的声音和情感。
紧急和医疗保健环境中，没有共同语言的临床医生和患者可以快速沟通。
语音到语音翻译的未来
我们的目标是无缝、近乎即时的翻译，保留您自己的声音和情感，嵌入耳塞、眼镜和视频通话中。期望更广泛的低资源语言覆盖范围、更低的延迟以及更好地处理俚语、名称和重叠说话者。语音保存引起了同意和深度伪造的担忧，因此水印和保护措施将会增加。随着设备上使用的模型不断缩小，私人离线翻译可以使旅行、医疗保健和全球协作的实时多语言对话成为常态。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是语音转语音翻译？
语音到语音翻译 (S2ST) 获取一种语言的口语单词并生成另一种语言的口语单词 - 最好保留说话者的声音、语气和时间。它是人们期待已久的实时对话“万能翻译器”。
语音转语音翻译 (S2ST) 有什么作用？
S2ST 接受源语言的语音输入并生成目标语言的语音输出，从而理想地保留语音和语气。
经典级联S2ST系统的三个阶段是什么？
级联链包含 ASR（语音转文本）、机器翻译和 TTS（文本转语音），每个阶段都有可能累积错误。
与级联系统相比，直接（端到端）S2ST 的主要优势是什么？
直接系统以更少的中间文本步骤将语音映射到语音，从而减少延迟并帮助保留韵律等表达品质。
哪个 Meta 系统因翻译大约 100 种语言而闻名？
Meta 的 SeamlessM4T 和 Seamless 套件可翻译约 100 种语言，旨在保留演讲者的风格和情感。
为什么实时流翻译特别具有挑战性？
由于不同语言的词序不同，流媒体系统必须在演讲者结束之前承诺输出，在速度和准确性之间进行权衡。