神经音频编解码器
神经音频编解码器使用深度学习将声音压缩为离散标记的微小流，并以高保真度重建它。
概述
They both crush bandwidth for calls and streaming and provide the token vocabulary that audio language models speak.
深入探讨
神经音频编解码器是一种编码器-解码器神经网络，经过训练可以压缩音频并重建音频。编码器将波形转换为紧凑的潜在信号，量化器将该潜在信号捕捉到学习码本中的条目，生成离散标记，然后解码器重建波形。关键技术是残差矢量量化 (RVQ)，由 Google 的 SoundStream 和 Meta 的 EnCodec 使用：多个码本堆叠在一起，每个码本对前一个码本留下的错误进行编码，因此您可以通过使用更多或更少的码本来以比特率换取质量。这些模型以非常低的比特率（有时每秒几千比特）达到令人印象深刻的质量，击败了 Opus 或 MP3 等经典编解码器。至关重要的是，离散代币正是 VALL-E 和 MusicGen 等模型生成的。
技术洞察
RVQ 是设计的核心。第一个码本捕获粗略近似值，随后的每个码本量化残余误差，分层更精细的细节。训练将重建损失（通常在时域和频谱域中）与保持输出听起来真实的对抗性鉴别器相结合，以及使编码器输出保持接近所选码本条目的承诺损失。结果是一个离散的、分层的表示，它既可压缩，又易于下游变压器建模。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
神经音频编解码器的未来
编解码器正在朝着更低的比特率和更少的码本方向发展，这使得语言模型的生成音频令牌变得更便宜。研究正在推动实时通信的流式低延迟变体，以及在一种模型中处理语音、音乐和一般声音的统一编解码器。随着生成音频的爆炸式增长，编解码器越来越被视为整个领域的共享标记器，因此这里的改进波及到构建在其之上的每个文本到语音和音乐模型。
现实世界的实施
压缩语音以实现超低带宽呼叫和对讲机式应用程序
提供 VALL-E、AudioLM 和 MusicGen 生成的离散令牌格式
以 MP3 比特率的一小部分高效存储和传输高质量音频
在嘈杂或受限的网络条件下进行实时语音传输
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Neural Audio Codecs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Neural Audio Codecs?
神经音频编解码器使用深度学习将声音压缩为离散标记的微小流，并以高保真度重建它。它们都压缩了通话和流媒体的带宽，并提供了音频语言模型所说的令牌词汇。
神经音频编解码器主要做哪两件事？
神经编解码器是一种编码器-解码器网络，它将波形压缩为紧凑的离散标记，然后从中重建音频。
哪种量化技术是 SoundStream 和 EnCodec 等编解码器的核心？
RVQ 堆叠多个码本，其中每个码本对前一个码本的残余误差进行编码，从而实现质量与比特率的权衡。
在残差矢量量化中，每个连续的码本编码什么？
第一个码本给出了粗略的近似值，后面的每个码本都会量化剩余的误差，添加更精细的细节。
为什么神经音频编解码器对于生成音频模型很重要？
编解码器产生的离散标记成为音频语言模型预测和生成的词汇。
在神经编解码器中使用更多的码本如何影响输出？
添加码本可以提高比特率，但可以捕获更多细节，从而提高保真度；使用更少的交易质量进行压缩。