概述
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
深入探讨
Moshi 是法国实验室 Kyutai 于 2024 年发布的一种语音到语音基础模型，专为自然、低延迟对话而构建。与链接语音到文本、语言模型、文本到语音的管道助手不同，Moshi 直接且连续地处理音频。它的关键思想是全双工：它同时对两个音频流（用户的和它自己的）进行建模，因此它可以边说话边听、处理中断、用“mhm”反向通道，并像人类一样自然地重叠。它的延迟时间约为 160-200 毫秒，远低于典型的助手延迟。在底层，它将 7B 参数文本和音频语言模型 (Helium) 与 Mimi 配对，Mimi 是一种神经音频编解码器，可将语音压缩为模型可以生成的离散标记。 Kyutai 公开发布了权重和代码。
现实世界的实施
免提语音伴侣，您可以在句子中途打断，并在 200 毫秒内回复。
开放研究基线，用于研究实时、全双工语音对话，无需专有黑匣子。
辅助功能助手可以与需要快速、自然地来回交流的用户进行流畅的交谈。
设计可中断的客户服务语音机器人原型，在呼叫者仍在说话时进行反向引导并做出反应。
Moshi 全双工语音的未来
全双工建模正在成为自然语音人工智能的模板，影响整个行业的系统。期待更小的设备版本、多语言支持、更低的延迟以及与代理、客户服务和辅助工具的集成。由于 Moshi 是开放的，研究人员可以自由地探索和改进它。围绕事实可靠性、重叠语音的安全性和情感细微差别的挑战仍然存在，但从严格的轮流对话到流畅、可打断的对话的转变可能是永久性的。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
What is Moshi Full-Duplex Speech?
Moshi 是 Kyutai 的一款开源实时语音 AI，它可以同时说话和聆听（全双工），而不是严格轮流。这消除了传统语音助手尴尬的滞后和僵化的轮流。
Moshi 上下文中的“全双工”是什么意思？
全双工意味着该模型同时处理传入和传出的音频，因此它可以边听边说并自然地处理中断。
哪个组织释放了莫希？
Moshi 由法国人工智能研究实验室 Kyutai 于 2024 年开发并开源。
Moshi系统中的Mimi是什么？
Mimi 是一种神经音频编解码器，可将连续语音压缩为模型可以生成的低比特率离散标记流。
Moshi 与传统语音助手管道有何不同？
传统助手将语音到文本、语言模型和文本到语音链接起来； Moshi 是一个连续处理音频的单一语音到语音模型。
Moshi 的目标对话延迟大致是多少？
Moshi 的延迟时间约为 160-200 毫秒，远低于典型的语音助手，可实现自然重叠和中断。