Moshi 全双工语音
Moshi 是 Kyutai 的一款开源实时语音 AI，它可以同时说话和聆听（全双工），而不是严格轮流。
概述
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
深入探讨
Moshi 是法国实验室 Kyutai 于 2024 年发布的一种语音到语音基础模型，专为自然、低延迟对话而构建。与链接语音到文本、语言模型、文本到语音的管道助手不同，Moshi 直接且连续地处理音频。它的关键思想是全双工：它同时对两个音频流（用户的和它自己的）进行建模，因此它可以边说话边听、处理中断、用“mhm”反向通道，并像人类一样自然地重叠。它的延迟时间约为 160-200 毫秒，远低于典型的助手延迟。在底层，它将 7B 参数文本和音频语言模型 (Helium) 与 Mimi 配对，Mimi 是一种神经音频编解码器，可将语音压缩为模型可以生成的离散标记。 Kyutai 公开发布了权重和代码。
技术洞察
Moshi 的技巧在于它的 Mimi 编解码器，它将连续音频转换为 12.5 Hz 的低比特率离散标记流，包括精炼的语义标记。语言模型会在时间对齐的并行流中预测自己的语音标记和用户的语音标记，因此生成永远不必停止“聆听”。 “内心独白”方法可以在音频之前预测文本，从而提高 Moshi 实际所说内容的语言质量和连贯性。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
Moshi 全双工语音的未来
全双工建模正在成为自然语音人工智能的模板，影响整个行业的系统。期待更小的设备版本、多语言支持、更低的延迟以及与代理、客户服务和辅助工具的集成。由于 Moshi 是开放的，研究人员可以自由地探索和改进它。围绕事实可靠性、重叠语音的安全性和情感细微差别的挑战仍然存在，但从严格的轮流对话到流畅、可打断的对话的转变可能是永久性的。
现实世界的实施
免提语音伴侣，您可以在句子中途打断，并在 200 毫秒内回复。
开放研究基线，用于研究实时、全双工语音对话，无需专有黑匣子。
辅助功能助手可以与需要快速、自然地来回交流的用户进行流畅的交谈。
设计可中断的客户服务语音机器人原型，在呼叫者仍在说话时进行反向引导并做出反应。
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Moshi Full-Duplex Speech quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Moshi Full-Duplex Speech?
Moshi 是 Kyutai 的一款开源实时语音 AI，它可以同时说话和聆听（全双工），而不是严格轮流。这消除了传统语音助手尴尬的滞后和僵化的轮流。
Moshi 上下文中的“全双工”是什么意思？
全双工意味着该模型同时处理传入和传出的音频，因此它可以边听边说并自然地处理中断。
哪个组织释放了莫希？
Moshi 由法国人工智能研究实验室 Kyutai 于 2024 年开发并开源。
Moshi系统中的Mimi是什么？
Mimi 是一种神经音频编解码器，可将连续语音压缩为模型可以生成的低比特率离散标记流。
Moshi 与传统语音助手管道有何不同？
传统助手将语音到文本、语言模型和文本到语音链接起来； Moshi 是一个连续处理音频的单一语音到语音模型。
Moshi 的目标对话延迟大致是多少？
Moshi 的延迟时间约为 160-200 毫秒，远低于典型的语音助手，可实现自然重叠和中断。