AudioGen 文本到音频合成
AudioGen 是一个 Meta 模型，可将文本描述转换为逼真的环境声音和音效，例如“鸟叫时狗叫”。这很重要，因为它可以让创作者从简单的语言生成非语音音频，这是生成人工智能长期缺失的功能。
深入探讨
AudioGen 由 Meta AI 于 2022 年发布，是一种自回归语言模型，可直接从文本提示生成通用音频（音效、环境场景、动物和物体声音）。与文本转语音系统不同，它针对的是日常声音的混乱世界。它首先使用神经编解码器（具有残差矢量量化的 EnCodec 式自动编码器）将原始音频压缩为一系列离散标记。然后，Transformer 语言模型学习根据单独的文本编码器编码的文本描述来预测这些音频标记。为了提高对作曲的理解，作者在训练期间混合并连接了音频样本，以便模型可以学习重叠声音等组合。 AudioGen 后来与 MusicGen 音乐模型一起成为 Meta 的 AudioCraft 库的一部分。
技术洞察
AudioGen 有两个阶段。首先，音频自动编码器学习将波形映射到离散标记的紧凑流并返回。其次，使用语言建模目标对 Transformer 进行训练，以在给定前面的标记和文本条件的情况下预测下一个音频标记。无分类器指导和多流码本建模提高了保真度和文本对齐。生成音频意味着自回归采样标记，然后使用编解码器将它们解码回波形。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
AudioGen 文本到音频合成的未来
文本到音频正在朝着更高的采样率、更长的连贯场景以及对声音的时间和空间位置的更严格的控制迈进。期望集成到自动添加匹配音效的视频工具、以声音描述场景的辅助工具以及按需合成环境音频的游戏引擎中。将 AudioGen 风格的标记模型与扩散方法和更强大的文本编码器相结合应该可以提高真实感，而水印和出处工具将有助于区分合成声音和录制的声音。
现实世界的实施
根据文本提示生成电影和游戏的拟音和声音效果
为应用程序和冥想工具创建环境音景（雨、交通、森林）
无需许可库存库即可为视频项目制作音频原型
生成以简单语言描述的自定义警报和通知声音
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AudioGen Text-to-Audio Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is AudioGen Text-to-Audio Synthesis?
AudioGen 是一个 Meta 模型，可将文本描述转换为逼真的环境声音和音效，例如“鸟叫时狗叫”。这很重要，因为它可以让创作者从简单的语言生成非语音音频，这是生成人工智能长期缺失的功能。
AudioGen 主要生成什么？
AudioGen 专门研究非语音、一般音频，例如环境声音和文本提示产生的效果。
AudioGen 管道的第一阶段是什么？
神经编解码器自动编码器将原始音频压缩为语言模型可以预测的离散标记。
什么类型的模型可以预测音频标记？
AudioGen 使用一种自回归 Transformer，根据文本来预测一个又一个的音频标记。
为什么作者在训练期间混合并连接音频？
通过混合和串联剪辑进行增强，提高了 AudioGen 在提示中组合多个声音的能力。
哪个更大的 Meta 库包含 AudioGen？
AudioGen 是 Meta 的 AudioCraft 库的一部分，该库还包含 MusicGen 模型。