Mimi 流媒体音频编解码器
Mimi 是一种神经音频编解码器，可实时将语音压缩为微小的离散标记流，因此 AI 模型可以以非常低的延迟进行聆听和说话。
概述
It is the audio backbone behind Kyutai's Moshi voice model.
深入探讨
Mimi 是法国实验室 Kyutai 于 2024 年发布的一种神经编解码器，可将 24 kHz 音频转换为离散令牌流，速度约为 1.1 kbps，每秒仅处理 12.5 个令牌。它使用带有残差矢量量化 (RVQ) 的编码器-解码器，将标记拆分为从自监督语音模型 (WavLM) 中提取的“语义”第一级以及多个捕获语音纹理的“声学”级别。至关重要的是，它是完全流式传输和因果关系的：它在音频到达时发出令牌，而不是等待完整的剪辑，大约有 80 毫秒的延迟。这使得语言模型可以将语音视为文本标记，从而使 Moshi 能够以全双工方式进行对话，同时保持重建的音频清晰和自然。
技术洞察
Mimi 的技巧是 split-RVQ 方案。第一个码本经过蒸馏损失训练，以匹配 WavLM 的嵌入，迫使其携带语音“含义”，而并行声学码本则重建波形细节。 Transformer 在瓶颈内运行，解码器上的对抗性 (GAN) 损失可提高输出质量。因果卷积使所有内容保持流式传输，因此延迟保持在 80 毫秒左右。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
Mimi 流媒体音频编解码器的未来
预计 Mimi 等编解码器将成为音频和大型语言模型之间的标准接口，将实时语音助手的响应时间推向 100 毫秒以下。研究正在推动代币率进一步降低，同时保留说话者的身份、情感和音乐。由于 Kyutai 开源了 Mimi 和 Moshi，因此很可能催生许多开放式语音转语音系统、设备上助手和超低带宽语音通信工具。
现实世界的实施
为 Kyutai 的 Moshi 全双工语音助手提供支持，使其可以同时听和说
将语音标记流式传输到语言模型中以进行实时语音到语音翻译
在网络条件较差或拥塞的情况下进行超低比特率语音通话 (~1.1 kbps)
为生成语音和文本到语音管道对音频进行标记，以像文本一样对声音进行推理
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mimi Streaming Audio Codec quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Mimi Streaming Audio Codec?
Mimi 是一种神经音频编解码器，可实时将语音压缩为微小的离散标记流，因此 AI 模型可以以非常低的延迟进行聆听和说话。它是 Kyutai 的 Moshi 语音模型背后的音频支柱。
哪个实验室发布了 Mimi 和 Moshi 语音模型？
Mimi 和 Moshi 由法国研究实验室 Kyutai 于 2024 年发布，并将两者开源。
Mimi 每秒大约发出多少个令牌用于语音？
Mimi 将 24 kHz 音频压缩至每秒约 12.5 个令牌，速率约为 1.1 kbps。
Mimi 中的第一个（“语义”）密码本捕获了什么？
第一个 RVQ 级别通过 WavLM 的蒸馏进行训练，以承载语义/语音内容，而后续级别则添加声学细节。
为什么咪咪被描述为“流媒体”或“因果”？
Mimi 因果地处理音频并增量输出令牌，提供适合实时对话的约 80 毫秒延迟。
Mimi 使用哪种量化技术来编码音频？
Mimi 使用残差矢量量化，堆叠多个码本，因此每个码本都为前一个码本添加了更精细的细节。