概述
它可以讓一個簡短的想法成長為完整的曲目,或者可以修復有缺陷的錄音而無需重新錄製。它很重要,因為它改變了人們起草和編輯音樂的方式,但它有明確的品質限制,並且不會消除擁有原始音訊的人的權利。
深入探討
擴展採用現有剪輯並產生接下來的內容。常見的方法是自回歸延續。 Meta 的 MusicGen 於 2023 年作為 AudioCraft 的一部分發布,它使用名為 EnCodec 的神經編解碼器將音訊轉換為離散標記,並在您提供的標記之後預測進一步的標記,就像語言模型延續句子一樣。 Suno 和 Udio 等消費者服務將其作為擴展功能提供,通常允許您選擇一個起點並更改新部分的歌詞或風格。修復會在中間重新生成一個屏蔽區域,同時保留兩側的音頻,這對於修復歌詞或替換四個小節很有用。擴散模型適合這種情況,因為已知的音訊可以保持固定,而只有掩蔽跨距被降噪。音訊到音訊或混音模式(例如 2024 年穩定音訊 2.0 中引入的 Stability AI )會向輸入部分添加噪音,並在新的提示下重新生成它,因此在音色和風格發生變化時,結構仍然存在。強度設定控制原始內容的剩餘量。幹工作結合了分離和生成。來源分離模型,例如 Meta 的開源 Demucs,將混音分成人聲、鼓、貝斯等;然後,生成器可以根據其餘部分添加或替換一個部分。限制是真實的。長時間的擴展漂移:節奏、基調、混音平衡和聲音音色可能會漂移。連接的響度可以點擊或跳躍。模型看到的上下文視窗有限,因此第一分鐘的主題可能會被忘記。一個常見的誤解是模型像音樂家一樣理解歌曲的結構。它正在匹配最近音訊中的模式。權利也仍然存在:擴展您不擁有的商業錄音會創建它的衍生品,並且許多服務的條款禁止上傳您無權的音訊。
現實世界的實施
歌曲作者哼出 20 秒的合唱創意,將其上傳到音樂生成器,並使用 0:18 標記處的擴展功能來生成以相同調和節奏繼續的主歌和橋段。
一位播客編輯有一個 30 秒的許可音樂床,對於介紹來說太短了,因此她生成了一個延續,並在小節線處交叉淡入淡出以達到 60 秒。
製作人使用 Demucs 將舊演示分成人聲、鼓、貝斯和其他主幹,將弱鼓主幹靜音,並讓模型根據剩餘主幹生成新的鼓聲部。
一支樂隊修復了歌手彈奏歌詞的兩個小節,保持兩側的音頻完好無損,然後檢查重新生成的聲音聽起來是否仍然像同一位歌手。
AI音樂的未來延伸與延續
研究正在推動更長的上下文、更好的結構意識以及對單字幹的更精細的控制,這應該會減少漂移並使節級編輯更加可預測。整合到數位音訊工作站是一個可能的方向,因為在現有專案中進行編輯比在瀏覽器中產生整首歌曲更有用。完美的品質和保留特定歌手的身份仍然是難題。在權利方面,服務和權利持有者之間的上傳篩選和授權安排仍在發展中,因此使用者可以合法延長的內容將取決於不斷發展的條款和法庭結果,而不僅僅是技術。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是AI音樂延伸與延續?
AI 音樂擴展使用生成模型來延續現有的音訊剪輯、重新生成中間的部分(修復)、重新設計它的樣式,或添加和替換單個樂器桿。它可以讓一個簡短的想法成長為完整的曲目,或者可以修復有缺陷的錄音而無需重新錄製。它很重要,因為它改變了人們起草和編輯音樂的方式,但它有明確的品質限制,並且不會消除擁有原始音訊的人的權利。
像 MusicGen 這樣的自回歸模型如何繼續音訊剪輯?
剪輯被轉換為離散標記,模型預測接下來會出現什麼標記,類似於語言模型繼續文字的方式。
MusicGen 使用哪種神經編解碼器將音訊轉換為標記?
MusicGen 依賴 EnCodec(Meta 的神經音訊編解碼器)將音訊表示為離散標記。
音頻修復有什麼作用?
修復填充或替換選定的跨度,例如錯誤的歌詞,同時保持周圍音訊完好無損。
為什麼擴散模型非常適合修復?
擴散可以在去雜訊過程中限制已知區域,因此只有缺失的部分會被重新生成以適應其周圍環境。
在混音或音訊到音訊模式下,強度設定控制什麼?
較高的強度會增加更多的噪音並產生更多的能量,從而進一步改變輸入;較低的強度可以保留更多的結構。