音訊人工智慧指南

編碼解碼器音訊壓縮

EnCodec 是 Meta 的高保真神經音訊編解碼器,它以極低的比特率壓縮語音和音樂,其品質可與更重的格式相媲美。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. EnCodec 音訊壓縮的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為它支撐著現代生成音訊系統,並以開源形式提供給任何人使用。

深入探討

EnCodec 由 Meta AI 於 2022 年發布,遵循編碼器、殘差向量量化器 (RVQ) 和端到端訓練的解碼器的 SoundStream 藍圖,但添加了一些改進。它使用具有串流媒體功能的捲積編碼器、多尺度頻譜圖和時域重建損失,以及用於感知質量的對抗性鑑別器。一個顯著的貢獻是一個基於 Transformer 的小型熵模型,它進一步無損地壓縮量化程式碼,在不損失品質的情況下擠出額外的位元。 EnCodec 還引入了一個平衡器,可以自動縮放許多競爭訓練損失,使它們保持穩定。它可處理 24 kHz 單聲道和 48 kHz 立體聲音頻,可在 1.5、3、6 和 12 kbps 等比特率下運行,並且在 6 kbps 下可達到與 64 kbps 下的 MP3 相當的品質。其代幣為 Meta 的 MusicGen 和 AudioGen 提供動力。

現實世界的實施

為 Meta 的 MusicGen 和 AudioGen 文字到音訊產生器標記音訊

將 24 kHz 語音壓縮至 1.5-6 kbps,以實現頻寬有限的傳輸

以更高的位元率編碼品質接近 MP3 的 48 kHz 立體聲音樂

透過已發布的檢查點充當研究和音訊 ML 管道的開源嵌入式編解碼器

EnCodec 音訊壓縮的未來

EnCodec 已經是多個開放生成音頻模型的預設分詞器,其後代正在以較低的比特率推動更高的保真度、完整的立體聲和音樂級重建,以及與文本到音頻和文本到音樂生成器的更緊密整合。預計將在低頻寬通訊、即時串流媒體和標準「音訊令牌」層中得到更廣泛的採用,讓大型語言模型風格的架構能夠讀取和寫入聲音。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 EnCodec 音訊壓縮測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 EnCodec 音訊壓縮?

EnCodec 是 Meta 的高保真神經音訊編解碼器,它以極低的比特率壓縮語音和音樂,其品質可與更重的格式相媲美。這很重要,因為它支撐著現代生成音訊系統,並以開源形式提供給任何人使用。

EnCodec是哪個組織發布的?

EnCodec 由 Meta AI (FAIR) 於 2022 年推出,作為高保真神經音訊編解碼器。

EnCodec 增加了哪些額外元件來無損地從其令牌中壓縮更多壓縮?

EnCodec 訓練一個小型 Transformer 來預測令牌機率並對它們進行算術編碼,從而在 RVQ 之上實現額外的無損壓縮。

據報導,在大約 6 kbps 的情況下,EnCodec 的品質與比特率大約是多少的 MP3 相當?

6 kbps 的 EnCodec 達到的主觀品質與 64 kbps 的 MP3 類似,效率大幅提升。

EnCodec的「平衡器」在訓練過程中解決什麼問題?

由於存在許多損失(重建、光譜、對抗性),平衡器會重新調整梯度,因此沒有單一目標占主導地位,從而穩定了訓練。

EnCodec 與 SoundStream 共享哪種核心量化方法?

與 SoundStream 一樣,EnCodec 使用殘差向量量化將編碼器嵌入離散化為堆疊碼本索引。