概述
这很重要，因为它是 SoundStream 和 EnCodec 等现代神经编解码器以及生成式音频分词器的引擎。
深入探讨
普通矢量量化 (VQ) 用学习的码本中最近的条目替换连续矢量，但对于高质量而言足够精细的单个码本将需要大量的条目。 RVQ 通过级联几个较小的码本解决了这个问题。第一个码本产生粗略近似值；您减去它以获得残差，使用第二个码本量化该残差，再次相减，然后继续 N 个阶段。最终的代码是所有阶段所选择的索引的列表，并且重建是所有选择的码本向量的总和。这将一个巨大的有效密码本分解为许多小的密码本，极大地减少了内存和计算量，同时只需使用更多或更少的阶段就可以扩展比特率。训练期间的量化器丢失使早期的码本携带最多的信息，从而实现优雅的质量下降。
现实世界的实施
SoundStream、EnCodec 和 DAC 神经编解码器内的离散化编码器嵌入
生成 AudioLM 和 MusicLM 生成的分层音频令牌
通过激活更多或更少的量化器级来提高或降低编解码器的比特率
使用堆叠码本压缩检索和存储系统中的高维嵌入
残差矢量量化的未来
RVQ 已成为将连续神经表示与基于标记的生成模型联系起来的标准离散化层，并且不断改进：更好地利用码本以避免“死”条目、分解和低维码本以及语义上有意义的标记层次结构。除了音频之外，相同的残差堆叠想法正在传播到图像和视频分词器，将 RVQ 定位为连续编码器和语言模型式序列生成器之间的通用桥梁。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是残差向量量化？
残差矢量量化 (RVQ) 是一种通过重复量化剩余误差将连续音频嵌入转换为紧凑的离散代码堆栈的技术。这很重要，因为它是 SoundStream 和 EnCodec 等现代神经编解码器以及生成音频的分词器背后的引擎。
RVQ 中每个连续的码本量化什么？
在第一个码本给出粗略估计后，RVQ 将其减去并用下一个码本量化剩余的残差，跨阶段重复。
为什么使用 RVQ 而不是单个大码本？
一个足够精细的高质量密码本将太大得不切实际；堆叠 M 个包含 K 个条目的码本可提供 K^M 组合，而所需的存储空间要少得多。
RVQ码最终的重构是如何形成的？
重建是所有阶段所选择的码本向量的总和，每个阶段都校正先前的残差。
M 个阶段，每个阶段有 K 个条目，RVQ 代表多少种有效代码组合？
在 M 个独立阶段的每个阶段选择 K 个条目之一会产生 K^M 种可能的组合，同时仅存储 M*K 个向量。
训练 RVQ 码本时“承诺损失”的典型目的是什么？
当编码器的输出偏离所选码本向量时，承诺损失会对编码器进行惩罚，从而保持量化稳定；密码本本身通常通过指数移动平均线更新。