音訊人工智慧指南

Mimi 串流音訊編解碼器

Mimi 是 Kyutai 開發的神經音訊編解碼器,用於搭配 Moshi。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Mimi 串流音訊編解碼器的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它將 24 kHz 音訊轉換為每秒 12.5 幀的離散表示,使語音模型能夠預測和解碼音訊 token。該論文描述了一個從 WavLM 蒸餾而來的語義代碼本以及用於重建的聲學代碼本;具體的速率和延遲屬於已發布的設定。

深入探討

Moshi 論文介紹了 Mimi,這是一種在 24 kHz 音訊上運行的串流神經編解碼器,在報告的設定中,其 token 幀率為 12.5 Hz,頻寬為 1.1 kbps。編碼器產生從 WavLM 蒸餾而來的語義代碼本以及支援重建的聲學代碼本,使用分割殘差向量量化。編碼器/解碼器 Transformer 中的因果掩碼支援串流推論。論文報告了 80 ms 的幀大小;這不應被理解為保證的端到端對話回應時間。Mimi 為 Moshi 的音訊-文字建模提供音訊 token,但編解碼器 token 並非普通的文字 token。

現實世界的實施

使用編解碼器將輸入語音表示為離散 token,以便語音-文字模型處理。

將預測的音訊 token 解碼回波形,以進行語音輸出。

在評估自回歸序列長度與編解碼器保真度時,比較 token 速率與位元率。

檢視 Moshi 報告中描述的分割語義/聲學代碼本。

Mimi 串流音訊編解碼器的未來

神經編解碼器為語音模型提供了一個介面,用於編碼和生成音訊。未來的研究可能會調整 token 速率、代碼本分配和串流延遲;每個權衡都必須根據預期的音訊品質、硬體和對話任務進行評估。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Mimi 串流音訊編解碼器測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 Mimi 串流音訊編解碼器?

Mimi 是 Kyutai 開發的神經音訊編解碼器,用於搭配 Moshi。它將 24 kHz 音訊轉換為每秒 12.5 幀的離散表示,使語音模型能夠預測和解碼音訊 token。該論文描述了一個從 WavLM 蒸餾而來的語義代碼本以及用於重建的聲學代碼本;具體的速率和延遲屬於已發布的設定。

哪個實驗室發表了 Mimi 和 Moshi 語音模型?

Mimi 和 Moshi 由法國研究實驗室 Kyutai 於 2024 年發布,並將兩者開源。

Mimi 每秒大約發出多少個代幣用於語音?

Mimi 將 24 kHz 音訊壓縮至每秒約 12.5 個令牌,速率約 1.1 kbps。

Mimi 的第一個語義代碼本旨在表示什麼資訊?

Moshi 論文描述將 WavLM 表示蒸餾到 Mimi 的語義代碼本中;它並未聲稱此代碼本是字面上的文字記錄或精確的講者身分記錄。

為什麼咪咪被描述為“串流媒體”或“因果”?

Mimi 的因果編碼器/解碼器可以在音訊到達時處理幀,而不需要完整的語句。論文中的 80 ms 數字是編解碼器的幀間隔,而非保證的端到端對話延遲。

Mimi 使用哪種量化技術來編碼音訊?

Mimi 使用殘差向量量化,堆疊多個碼本,因此每個碼本都為前一個碼本添加了更精細的細節。