概述
它支援從 Shazam 風格的歌曲識別到 Spotify 的推薦和自動音樂標記等一切功能。
深入探討
音樂資訊檢索位於訊號處理、機器學習和音樂學的交叉點。研究人員從音訊中提取特徵,例如頻譜圖、梅爾頻率倒譜係數 (MFCC)、色度向量和節奏,以捕捉音高、音色、節奏和和聲。 MIR 系統從中執行節拍追蹤、調檢測、流派分類、旋律提取、翻唱歌曲辨識和音樂推薦等任務。自 2000 年以來,年度 ISMIR 會議和 MIREX 評估活動推動了進展。現代 MIR 越來越多地使用深度學習、直接在頻譜圖上訓練卷積和變壓器網絡以及自監督音頻嵌入,取代了許多手工製作的功能,同時仍然依賴音樂理論概念來標記和解釋結果。
現實世界的實施
Shazam 和類似應用程式使用音訊指紋從嘈雜的電話錄音中識別歌曲
Spotify 和 Apple Music 根據學習到的音訊相似性產生推薦和自動播放列表
自動標記大型製作音樂和庫存音訊庫的情緒、流派和樂器
在 YouTube Content ID 等平台上偵測封面版本和潛在的版權匹配
音樂資訊檢索的未來
MIR 正在轉向大型自監督音訊模型,從數百萬個未標記的曲目中學習一般的音樂表徵,然後用很少的標記資料針對特定任務進行微調。期望與生成音樂模型、自然語言音樂搜尋(「用畫筆查找歡快的爵士曲目」)更緊密地集成,以及更好地處理標準色度和關鍵模型忽略的非西方傳統。結合音訊、歌詞、樂譜和元資料的多模式系統將使推薦和發現更加細緻和個人化。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是音樂資訊檢索?
音樂資訊檢索 (MIR) 是教導電腦從音訊訊號和樂譜中分析、理解和搜尋音樂的領域。它支援從 Shazam 風格的歌曲識別到 Spotify 的推薦和自動音樂標記等一切功能。
MIR 中主要用於捕獲的色度特徵是什麼?
Chroma 功能將所有八度音程的能量折疊為 12 個音級,使其非常適合和聲、和弦和調分析。
將音訊轉換為時頻表示的第一步通常是哪種變換?
短時傅立葉變換產生頻譜圖,這是大多數 MIR 特徵和模型的基礎。
像 Shazam 這樣的應用程式依靠什麼來識別歌曲?
指紋辨識可建立緊湊、抗雜訊的音訊峰值雜湊值,並與索引資料庫進行比對。
哪個年會與 MIR 研究最相關?
ISMIR(國際音樂資訊檢索協會會議)是該領域的中心場所。
現代 MIR 中自監督音訊模型的主要優勢是什麼?
自我監督學習從未標記的音訊中提取一般的音樂結構,減少了對昂貴的手動標記資料集的需求。