Moshi 全雙工語音
Moshi 是 Kyutai 的開源即時語音 AI，它可以同時說話和聆聽（全雙工），而不是嚴格輪流。
概述
That removes the awkward lag and rigid turn-taking of traditional voice assistants.
深入探討
Moshi 是法國實驗室 Kyutai 於 2024 年發布的一種語音到語音基礎模型，專為自然、低延遲對話而構建。與連結語音到文字、語言模型、文字到語音的管道助理不同，Moshi 直接且連續地處理音訊。它的關鍵思想是全雙工：它同時對兩個音頻流（用戶的和它自己的）進行建模，因此它可以邊說話邊聽、處理中斷、用“mhm”反向通道，並像人類一樣自然地重疊。它的延遲時間約為 160-200 毫秒，遠低於典型的助手延遲。在底層，它將 7B 參數文字和音訊語言模型 (Helium) 與 Mimi 配對，Mimi 是一種神經音訊編解碼器，可將語音壓縮為模型可以產生的離散標記。 Kyutai 公開發布了權重和代碼。
技術洞察
Moshi 的技巧在於它的 Mimi 編解碼器，它將連續音訊轉換為 12.5 Hz 的低位元率離散標記流，包括精煉的語義標記。語言模型會在時間對齊的平行流中預測自己的語音標記和使用者的語音標記，因此產生永遠不必停止「聆聽」。 「內在獨白」方法可以在音訊之前預測文本，從而提高 Moshi 實際所說內容的語言品質和連貫性。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
Moshi 全雙工語音的未來
全雙工建模正在成為自然語音人工智慧的模板，影響整個產業的系統。期待更小的設備版本、多語言支援、更低的延遲以及與代理、客戶服務和輔助工具的整合。由於 Moshi 是開放的，研究人員可以自由地探索和改進它。圍繞著事實可靠性、重疊語音的安全性和情感細微差別的挑戰仍然存在，但從嚴格的輪流對話到流暢、可打斷的對話的轉變可能是永久性的。
現實世界的實施
免持語音伴侶，您可以在句子中途打斷，並在 200 毫秒內回复。
開放研究基線，用於研究即時、全雙工語音對話，無需專有黑盒子。
輔助功能助理可以與需要快速、自然地來回交流的使用者進行流暢的交談。
設計可中斷的客戶服務語音機器人原型，在呼叫者仍在說話時進行反向引導並做出反應。
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Moshi Full-Duplex Speech quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Moshi Full-Duplex Speech?
Moshi 是 Kyutai 的開源即時語音 AI，它可以同時說話和聆聽（全雙工），而不是嚴格輪流。這消除了傳統語音助理尷尬的滯後和僵化的輪流。
Moshi 上下文中的「全雙工」是什麼意思？
全雙工意味著該模型同時處理傳入和傳出的音頻，因此它可以邊聽邊說並自然地處理中斷。
哪個組織釋放了莫希？
Moshi 由法國人工智慧研究實驗室 Kyutai 於 2024 年開發並開源。
Moshi系統中的Mimi是什麼？
Mimi 是一種神經音訊編解碼器，可將連續語音壓縮為模型可以產生的低位元率離散標記流。
Moshi 與傳統語音助理管道有何不同？
傳統助理將語音到文字、語言模型和文字到語音連結起來； Moshi 是一個連續處理音訊的單一語音到語音模型。
Moshi 的目標對話延遲大致是多少？
Moshi 的延遲時間約為 160-200 毫秒，遠低於典型的語音助手，可實現自然重疊和中斷。