概述
Moshi 是 Kyutai 的一款开源实时语音 AI，它可以同时说话和聆听（全双工），而不是严格轮流。这消除了传统语音助手尴尬的滞后和僵化的轮流。
Moshi 全双工语音位于音频 AI 工作流程中，可转换语音、音乐和声音以实现通信、可访问性和媒体制作。
深入探讨
Moshi 是法国实验室 Kyutai 于 2024 年发布的一种语音到语音基础模型，专为自然、低延迟对话而构建。与链接语音到文本、语言模型、文本到语音的管道助手不同，Moshi 直接且连续地处理音频。它的关键思想是全双工：它同时对两个音频流（用户的和它自己的）进行建模，因此它可以边说话边听、处理中断、用“mhm”反向通道，并像人类一样自然地重叠。它的延迟时间约为 160-200 毫秒，远低于典型的助手延迟。在底层，它将 7B 参数文本和音频语言模型 (Helium) 与 Mimi 配对，Mimi 是一种神经音频编解码器，可将语音压缩为模型可以生成的离散标记。 Kyutai 公开发布了权重和代码。
技术洞察
Moshi 的技巧在于它的 Mimi 编解码器，它将连续音频转换为 12.5 Hz 的低比特率离散标记流，包括精炼的语义标记。语言模型会在时间对齐的并行流中预测自己的语音标记和用户的语音标记，因此生成永远不必停止“聆听”。 “内心独白”方法可以在音频之前预测文本，从而提高 Moshi 实际所说内容的语言质量和连贯性。
掌握 Moshi 全双工语音
Moshi 是 Kyutai 的一款开源实时语音 AI，它可以同时说话和聆听（全双工），而不是严格轮流。这消除了传统语音助手尴尬的滞后和僵化的轮流。 Moshi 全双工语音位于音频 AI 工作流程中，可转换语音、音乐和声音以实现通信、可访问性和媒体制作。为了建立深入的理解，请将 Moshi 全双工语音视为一种操作模型，而不是单个功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 Moshi 全双工语音的强大团队将质量、延迟和同意视为部署策略中同等重要的部分。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它通过转录、旁白和语音界面提高了可访问性。与此同时，如果未征得同意，语音滥用和冒充风险就会增加。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它通过转录、旁白和语音界面提高了可访问性。
它通过转录、旁白和语音界面提高了可访问性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
媒体团队可以用更少的预算更快地交付精美的音频。
媒体团队可以用更少的预算更快地交付精美的音频。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
面向客户的系统可以处理更大规模的语音交互。
面向客户的系统可以处理更大规模的语音交互。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
免提语音伴侣，您可以在句子中途打断，并在 200 毫秒内回复。
开放研究基线，用于研究实时、全双工语音对话，无需专有黑匣子。
辅助功能助手可以与需要快速、自然地来回交流的用户进行流畅的交谈。
设计可中断的客户服务语音机器人原型，在呼叫者仍在说话时进行反向引导并做出反应。
实施模式
Moshi 全双工语音实践
免提语音伴侣，您可以在句子中途打断，并在 200 毫秒内回复。
一个免提语音伴侣，您可以打断句子，并在 200 毫秒内回复。如果团队预先定义质量阈值，为边缘情况保留人工升级路径，并随着时间的推移跟踪生产力提升和错误成本，通常会获得更好的结果。
Moshi 全双工语音实践
开放研究基线，用于研究实时、全双工语音对话，无需专有黑匣子。
开放研究基线，用于研究实时、全双工语音对话，无需专有黑匣子。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
Moshi 全双工语音实践
辅助功能助手可以与需要快速、自然地来回交流的用户进行流畅的交谈。
辅助功能助理可以与需要快速、自然的来回交流的用户进行流畅的交谈。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
Moshi 全双工语音实践
设计可中断的客户服务语音机器人原型，在呼叫者仍在说话时进行反向引导并做出反应。
设计可中断的客户服务语音机器人原型，在呼叫者仍在通话时进行反向沟通和反应。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
获得语音捕获、克隆和重用的明确同意。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
测试不同扬声器和背景条件下的质量。
测试不同扬声器和背景条件下的质量。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
定义人员必须审查或批准输出的时间。
定义人员必须审查或批准输出的时间。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
标记合成音频并保留来源记录以供问责。
标记合成音频并保留来源记录以供问责。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。