概述
它将 24 kHz 音频转换为每秒 12.5 帧的离散表示，使语音模型能够预测和解码音频标记。论文描述了从 WavLM 蒸馏出的语义码本以及用于重建的声学码本；具体的速率和延迟属于已发布的配置。
深入探讨
Moshi 论文介绍了 Mimi 作为一种流式神经音频编解码器，在报告的设置中以 24 kHz 音频运行，具有 12.5 Hz 的标记帧率和 1.1 kbps 的带宽。编码器生成了从 WavLM 蒸馏出的语义码本以及支持重建的声学码本，并使用了分裂残差向量量化。编码器/解码器 Transformer 中的因果掩码支持流式推理。论文报告了 80 毫秒的帧大小；这不应被理解为有保证的端到端对话响应时间。Mimi 为 Moshi 的音频-文本建模提供音频标记，但编解码器标记并不是普通的文本标记。
现实世界的实施
使用编解码器将输入的语音表示为语音文本模型可以处理的离散标记。
将预测的音频标记解码回波形以进行语音输出。
在评估自回归序列长度和编解码器保真度时，比较标记速率和比特率。
检查 Moshi 报告中描述的分离语义/声学码本。
Mimi 流媒体音频编解码器的未来
神经编解码器为语音模型编码和生成音频提供了一个接口。未来的工作可能会调整标记速率、码本分配和流式延迟；必须针对预期的音频质量、硬件和对话任务评估每种权衡。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是 Mimi 流式音频编解码器？
Mimi 是 Kyutai 的神经音频编解码器，与 Moshi 配合使用。它将 24 kHz 音频转换为每秒 12.5 帧的离散表示，使语音模型能够预测和解码音频标记。论文描述了从 WavLM 蒸馏出的语义码本以及用于重建的声学码本；具体的速率和延迟属于已发布的配置。
哪个实验室发布了 Mimi 和 Moshi 语音模型？
Mimi 和 Moshi 由法国研究实验室 Kyutai 于 2024 年发布，并将两者开源。
Mimi 每秒大约发出多少个令牌用于语音？
Mimi 将 24 kHz 音频压缩至每秒约 12.5 个令牌，速率约为 1.1 kbps。
Mimi 的第一个语义码本旨在表示什么信息？
Moshi 论文描述了将 WavLM 表示蒸馏到 Mimi 的语义码本中；它并没有声称该码本是字面文本记录或确切的说话人身份记录。
为什么咪咪被描述为“流媒体”或“因果”？
Mimi 的因果编码器/解码器可以在音频到达时处理帧，而无需完整的语音。论文中的 80 毫秒数字是编解码器帧间隔，而不是有保证的端到端对话延迟。
Mimi 使用哪种量化技术来编码音频？
Mimi 使用残差矢量量化，堆叠多个码本，因此每个码本都为前一个码本添加了更精细的细节。