音訊人工智慧指南

擴散頻譜圖擴散

Riffusion 採用文字到影像擴散模型,透過產生頻譜圖影像和重建波形來產生音訊。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 擴散譜圖擴散的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這是一個研究和創造性的例子;其輸出需要聆聽和技術驗證。

深入探討

Riffusion 於 2022 年作為業餘愛好專案發布,在配對文字和頻譜圖圖像上對 Stable Diffusion 進行了微調。頻譜圖水平放置時間,垂直放置頻率,像素強度代表振幅或能量;此版本使用梅爾頻率表示。產生的幅度表示省略了相位。 Riffusion 使用 Griffin-Lim 迭代來估計相位並重建波形,這可能會引入聽覺偽影。其圖像模型改編展示了音訊生成的途徑,但不能保證音樂品質或許可狀態。

現實世界的實施

從文字提示中探索簡短的音樂草圖

比較即時變更如何影響產生的頻譜圖模式

在提示嵌入之間進行插值以探索合理想法之間的轉換

在音訊工作站中安排或錄製音樂創意之前對其進行原型設計

擴散譜圖擴散的未來

Riffusion 示範了一種透過產生頻譜圖影像和重建波形來調整音訊影像擴散管道的方法。核心項目被標記為不再主動維護。應檢查產生的剪輯是否有重建偽影以及是否適合其預期用途。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 Riffusion 頻譜圖擴散測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是Riffusion頻譜圖擴散?

Riffusion 採用文字到影像擴散模型,透過產生頻譜圖影像和重建波形來產生音訊。這是一個研究和創造性的例子;其輸出需要聆聽和技術驗證。

Riffusion 對現有的哪些人工智慧模型進行了微調來產生音樂?

Riffusion 對穩定擴散(一種影像擴散模型)進行了微調,以產生頻譜圖影像,然後將其轉換為音訊。

在 Riffusion 頻譜圖影像上,哪個方向通常代表時間增加?

頻譜圖水平映射時間,垂直映射頻率。

為什麼 Riffusion 需要像 Griffin-Lim 這樣的演算法?

頻譜圖儲存振幅但丟棄相位,因此 Griffin-Lim 迭代估計相位以重建可播放波形。

Riffusion 中提示插值可以做什麼?

Riffusion 的管道支援提示插值,允許兩個提示條件產生之間的過渡。

Riffusion 最初是如何創建和發布的?

Riffusion 最初是 Seth Forsgren 和 Hayk Martiros 的業餘愛好項目,於 2022 年底公開發布。