音频LM
AudioLM 是一个 Google 研究框架，它通过将声音视为语言并逐个预测来生成逼真的音频（语音或钢琴音乐）。
概述
这很重要，因为它表明您可以在没有任何文本记录或乐谱的情况下产生连贯、听起来自然的音频延续。
深入探讨
AudioLM 由 Google 于 2022 年推出，将音频生成重新定义为语言建模问题：它将原始波形转换为离散标记，然后预测下一个标记，就像文本模型预测下一个单词一样。它的关键技巧是令牌类型的层次结构。 “语义”标记（来自 w2v-BERT 等模型）捕获长期结构——语音、语法、旋律——而“声学”标记（来自 SoundStream 神经编解码器）捕获精细细节，如说话者身份、音色和录音条件。通过首先预测语义标记，然后对其进行调节声学标记，AudioLM 会生成在数秒内保持连贯的延续，同时保留原始语音或乐器。说话几秒钟后，它会继续用同样的声音说话；给定钢琴，它以相同的风格即兴演奏。
技术洞察
AudioLM 纯粹基于音频进行训练——没有文字记录。 SoundStream 通过残差矢量量化将音频压缩为声学标记，而 w2v-BERT 提供粗略的语义标记。一堆 Transformer 语言模型分阶段预测标记：首先是结构的语义，然后是用于高保真重建的粗略和精细的声学标记。 SoundStream 的解码器最终将预测的标记转回波形，产生使说话者的声音和韵律保持一致的音频。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
AudioLM 的未来
AudioLM 基于令牌的配方成为后来系统的基础：Google 的 AudioLM 想法被输入到 MusicLM 中以实现文本到音乐和 SoundStorm 中以实现更快的生成，而更广泛的领域现在将语义和声学令牌融合到语音、音乐和音效中。期望更快的实时生成、更长的相干输出以及文本或其他信号引导纯音频训练模型的多模态控制。同样的技术也加剧了人们对语音克隆和音频深度伪造的担忧。
现实世界的实施
以同一说话人的声音和语调继续一段简短的语音片段，无需抄本
即兴创作与简短录制提示风格相匹配的新钢琴音乐
充当 MusicLM 等文本转音乐系统的音频生成骨干
研究保留样本中的韵律和记录声学的语音合成
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AudioLM quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是 AudioLM？
AudioLM 是一个 Google 研究框架，它通过将声音视为语言并逐个预测来生成逼真的音频（语音或钢琴音乐）。这很重要，因为它表明您可以在没有任何文本记录或乐谱的情况下产生连贯、听起来自然的音频延续。
AudioLM 使用什么核心思想来生成音频？
AudioLM 将波形转换为离散标记并按顺序预测它们，将语言模型的下一个标记方法应用于原始声音。
AudioLM 中“语义”标记的作用是什么？
语义标记（来自 w2v-BERT）对高级结构和连贯性进行编码，而声学标记则处理精细的音频细节。
哪个神经编解码器生成 AudioLM 的声学标记？
SoundStream 使用残差矢量量化将音频压缩为声学标记，然后将预测标记解码回波形。
AudioLM 需要什么作为训练数据？
一个显着的特点是 AudioLM 纯粹基于音频进行训练，没有任何文本标签，直接从声音中学习结构。
为什么 AudioLM 在声学标记之前预测语义标记？
首先生成粗略结构，使输出随时间保持一致；然后，声学令牌会根据该结构进行调整，以添加高保真细节。