语音转换
语音转换可以转换一个人录制的语音，使其听起来像是其他人所说的，同时保留原来的单词和时间。
概述
这就像音频版的面部互换，换了你听到的声音，但不改变说什么。
深入探讨
语音转换 (VC) 获取源音频并将其重新呈现为目标说话者的声音，保留语言内容，通常还保留节奏。核心思想是将所说的内容（内容）与说话者（说话者的身份，以音色和音调特征捕获）分开，然后将源的内容与目标的身份重新组合。经典系统需要并行录音两个说话者说出相同的句子，但现代方法是非并行的，而且通常是零样本，从几秒钟的参考音频中克隆一个新的声音。常见的设计使用具有信息瓶颈的自动编码器（例如 AutoVC）、自监督内容特征或生成对抗网络（例如 CycleGAN-VC）。然后，神经声码器将转换后的特征转回波形。
技术洞察
VC 的核心是解开：将与说话人无关的内容与说话人嵌入分开。 AutoVC 通过精心设计的瓶颈来强制执行此操作，该瓶颈会挤出身份，只留下内容，然后根据目标说话者向量调整解码。其他方法从自监督模型（如 HuBERT 单元）中提取内容或使用语音后验图。 CycleGAN-VC 使用循环一致性来学习两个声音之间的映射，无需并行数据，因此往返返回原始声音。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
语音转换的未来
语音转换的趋势是从几秒钟的音频中进行即时、高保真零镜头克隆，实时通话和游戏的实时流，以及口音、情感和身份的更精细分离，以便每个人都可以独立编辑。它承诺为失语者恢复声音，并提供跨语言无缝配音。由于相同的技术可以实现欺诈和假冒，因此预计音频水印、深度伪造检测和基于同意的语音许可将并行增长。
现实世界的实施
以旧录音为目标，为因病失去声音的人恢复自然的声音
为电影配音，使角色在多种语言中保持一致的声音特征
通过交换声音同时保留单词，对敏感录音中的说话者进行匿名化
让游戏玩家和主播以选定的角色声音实时讲话
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Voice Conversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是语音转换？
语音转换可以转换一个人录制的语音，使其听起来像是其他人所说的，同时保留原来的单词和时间。这相当于换脸的音频，改变你听到的人而不改变所说的内容。
语音转换对录音有何影响？
语音转换会改变说话者的身份（音色和语音特征），同时保留原始单词和通常的时间。
什么核心功能可以让系统在保留单词的同时交换语音？
VC 将所说的内容（内容）与所说的人（说话者身份）分开，然后将源内容与目标身份重新组合。
AutoVC 如何鼓励模型从内容中剔除说话者身份？
AutoVC 使用尺寸紧凑的瓶颈，强制排除说话者身份，留下大部分内容，然后在单独的目标说话者嵌入上进行解码。
“并行”语音转换数据集与“非并行”语音转换数据集有何区别？
并行 VC 需要对两个说话者的相同话语进行对齐录音，而非并行方法可以从不匹配的语音中进行学习，这在收集方面要实用得多。
“零镜头”语音转换是什么意思？
零样本 VC 使用简短的参考剪辑推广到全新的扬声器，而无需根据该声音重新训练模型。