概述
它將 24 kHz 音訊轉換為每秒 12.5 幀的離散表示,使語音模型能夠預測和解碼音訊 token。該論文描述了一個從 WavLM 蒸餾而來的語義代碼本以及用於重建的聲學代碼本;具體的速率和延遲屬於已發布的設定。
深入探討
Moshi 論文介紹了 Mimi,這是一種在 24 kHz 音訊上運行的串流神經編解碼器,在報告的設定中,其 token 幀率為 12.5 Hz,頻寬為 1.1 kbps。編碼器產生從 WavLM 蒸餾而來的語義代碼本以及支援重建的聲學代碼本,使用分割殘差向量量化。編碼器/解碼器 Transformer 中的因果掩碼支援串流推論。論文報告了 80 ms 的幀大小;這不應被理解為保證的端到端對話回應時間。Mimi 為 Moshi 的音訊-文字建模提供音訊 token,但編解碼器 token 並非普通的文字 token。
現實世界的實施
使用編解碼器將輸入語音表示為離散 token,以便語音-文字模型處理。
將預測的音訊 token 解碼回波形,以進行語音輸出。
在評估自回歸序列長度與編解碼器保真度時,比較 token 速率與位元率。
檢視 Moshi 報告中描述的分割語義/聲學代碼本。
Mimi 串流音訊編解碼器的未來
神經編解碼器為語音模型提供了一個介面,用於編碼和生成音訊。未來的研究可能會調整 token 速率、代碼本分配和串流延遲;每個權衡都必須根據預期的音訊品質、硬體和對話任務進行評估。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 Mimi 串流音訊編解碼器?
Mimi 是 Kyutai 開發的神經音訊編解碼器,用於搭配 Moshi。它將 24 kHz 音訊轉換為每秒 12.5 幀的離散表示,使語音模型能夠預測和解碼音訊 token。該論文描述了一個從 WavLM 蒸餾而來的語義代碼本以及用於重建的聲學代碼本;具體的速率和延遲屬於已發布的設定。
哪個實驗室發表了 Mimi 和 Moshi 語音模型?
Mimi 和 Moshi 由法國研究實驗室 Kyutai 於 2024 年發布,並將兩者開源。
Mimi 每秒大約發出多少個代幣用於語音?
Mimi 將 24 kHz 音訊壓縮至每秒約 12.5 個令牌,速率約 1.1 kbps。
Mimi 的第一個語義代碼本旨在表示什麼資訊?
Moshi 論文描述將 WavLM 表示蒸餾到 Mimi 的語義代碼本中;它並未聲稱此代碼本是字面上的文字記錄或精確的講者身分記錄。
為什麼咪咪被描述為“串流媒體”或“因果”?
Mimi 的因果編碼器/解碼器可以在音訊到達時處理幀,而不需要完整的語句。論文中的 80 ms 數字是編解碼器的幀間隔,而非保證的端到端對話延遲。
Mimi 使用哪種量化技術來編碼音訊?
Mimi 使用殘差向量量化,堆疊多個碼本,因此每個碼本都為前一個碼本添加了更精細的細節。