概述
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
深入探討
Moshi 是法國實驗室 Kyutai 於 2024 年發布的一種語音到語音基礎模型,專為自然、低延遲對話而構建。與連結語音到文字、語言模型、文字到語音的管道助理不同,Moshi 直接且連續地處理音訊。它的關鍵思想是全雙工:它同時對兩個音頻流(用戶的和它自己的)進行建模,因此它可以邊說話邊聽、處理中斷、用“mhm”反向通道,並像人類一樣自然地重疊。它的延遲時間約為 160-200 毫秒,遠低於典型的助手延遲。在底層,它將 7B 參數文字和音訊語言模型 (Helium) 與 Mimi 配對,Mimi 是一種神經音訊編解碼器,可將語音壓縮為模型可以產生的離散標記。 Kyutai 公開發布了權重和代碼。
現實世界的實施
免持語音伴侶,您可以在句子中途打斷,並在 200 毫秒內回复。
開放研究基線,用於研究即時、全雙工語音對話,無需專有黑盒子。
輔助功能助理可以與需要快速、自然地來回交流的使用者進行流暢的交談。
設計可中斷的客戶服務語音機器人原型,在呼叫者仍在說話時進行反向引導並做出反應。
Moshi 全雙工語音的未來
全雙工建模正在成為自然語音人工智慧的模板,影響整個產業的系統。期待更小的設備版本、多語言支援、更低的延遲以及與代理、客戶服務和輔助工具的整合。由於 Moshi 是開放的,研究人員可以自由地探索和改進它。圍繞著事實可靠性、重疊語音的安全性和情感細微差別的挑戰仍然存在,但從嚴格的輪流對話到流暢、可打斷的對話的轉變可能是永久性的。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
What is Moshi Full-Duplex Speech?
Moshi 是 Kyutai 的開源即時語音 AI,它可以同時說話和聆聽(全雙工),而不是嚴格輪流。這消除了傳統語音助理尷尬的滯後和僵化的輪流。
Moshi 上下文中的「全雙工」是什麼意思?
全雙工意味著該模型同時處理傳入和傳出的音頻,因此它可以邊聽邊說並自然地處理中斷。
哪個組織釋放了莫希?
Moshi 由法國人工智慧研究實驗室 Kyutai 於 2024 年開發並開源。
Moshi系統中的Mimi是什麼?
Mimi 是一種神經音訊編解碼器,可將連續語音壓縮為模型可以產生的低位元率離散標記流。
Moshi 與傳統語音助理管道有何不同?
傳統助理將語音到文字、語言模型和文字到語音連結起來; Moshi 是一個連續處理音訊的單一語音到語音模型。
Moshi 的目標對話延遲大致是多少?
Moshi 的延遲時間約為 160-200 毫秒,遠低於典型的語音助手,可實現自然重疊和中斷。