音訊人工智慧指南

Moshi 全雙工語音

Moshi 是 Kyutai 的開源即時語音 AI,它可以同時說話和聆聽(全雙工),而不是嚴格輪流。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Moshi 全雙工語音的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

That removes the awkward lag and rigid turn-taking of traditional voice assistants.

深入探討

Moshi 是法國實驗室 Kyutai 於 2024 年發布的一種語音到語音基礎模型,專為自然、低延遲對話而構建。與連結語音到文字、語言模型、文字到語音的管道助理不同,Moshi 直接且連續地處理音訊。它的關鍵思想是全雙工:它同時對兩個音頻流(用戶的和它自己的)進行建模,因此它可以邊說話邊聽、處理中斷、用“mhm”反向通道,並像人類一樣自然地重疊。它的延遲時間約為 160-200 毫秒,遠低於典型的助手延遲。在底層,它將 7B 參數文字和音訊語言模型 (Helium) 與 Mimi 配對,Mimi 是一種神經音訊編解碼器,可將語音壓縮為模型可以產生的離散標記。 Kyutai 公開發布了權重和代碼。

現實世界的實施

免持語音伴侶,您可以在句子中途打斷,並在 200 毫秒內回复。

開放研究基線,用於研究即時、全雙工語音對話,無需專有黑盒子。

輔助功能助理可以與需要快速、自然地來回交流的使用者進行流暢的交談。

設計可中斷的客戶服務語音機器人原型,在呼叫者仍在說話時進行反向引導並做出反應。

Moshi 全雙工語音的未來

全雙工建模正在成為自然語音人工智慧的模板,影響整個產業的系統。期待更小的設備版本、多語言支援、更低的延遲以及與代理、客戶服務和輔助工具的整合。由於 Moshi 是開放的,研究人員可以自由地探索和改進它。圍繞著事實可靠性、重疊語音的安全性和情感細微差別的挑戰仍然存在,但從嚴格的輪流對話到流暢、可打斷的對話的轉變可能是永久性的。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Moshi Full-Duplex Speech quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is Moshi Full-Duplex Speech?

Moshi 是 Kyutai 的開源即時語音 AI,它可以同時說話和聆聽(全雙工),而不是嚴格輪流。這消除了傳統語音助理尷尬的滯後和僵化的輪流。

Moshi 上下文中的「全雙工」是什麼意思?

全雙工意味著該模型同時處理傳入和傳出的音頻,因此它可以邊聽邊說並自然地處理中斷。

哪個組織釋放了莫希?

Moshi 由法國人工智慧研究實驗室 Kyutai 於 2024 年開發並開源。

Moshi系統中的Mimi是什麼?

Mimi 是一種神經音訊編解碼器,可將連續語音壓縮為模型可以產生的低位元率離散標記流。

Moshi 與傳統語音助理管道有何不同?

傳統助理將語音到文字、語言模型和文字到語音連結起來; Moshi 是一個連續處理音訊的單一語音到語音模型。

Moshi 的目標對話延遲大致是多少?

Moshi 的延遲時間約為 160-200 毫秒,遠低於典型的語音助手,可實現自然重疊和中斷。