概述
研究系統在輸入表示、監督方式、標籤與評估任務上各有不同。
深入探討
音樂標籤是一項多標籤分類任務,因為一段音訊可能同時擁有多個標籤。AST 論文使用對數梅爾頻譜圖切割成區塊,作為無卷積、基於注意力的音訊分類器。MERT 在預訓練目標中採用教師提供的偽目標,類似遮蔽語言模型的方式,並在 14 項音樂理解任務上報告評估結果。其預訓練會隨機將音訊截斷為 5 秒片段,因此結果未直接呈現相隔數分鐘的副歌與段落的建模。MagnaTagATune 是用於音樂標籤研究的資料集之一。CLAP 是另一個對比式音訊-文字模型,於多個下游任務上進行評估;零樣本結果取決於標籤與評估設定。
現實世界的實施
比較基於頻譜圖與基於波形的標籤模型於相同的標記資料集上。
使用排名指標(例如平均精度均值)來評估多標籤預測。
在文件說明模型時,將自監督預訓練與下游微調分開說明。
檢查每個模型使用的時長與取樣協議。
變形金剛音樂標籤的未來
潛在的研究方向包括測試更長上下文的音樂表示,以及評估在標籤、資料集與流派之間的遷移。這些屬於開放式評估問題,而非關於目前採用情況或效能的聲明。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是變形金剛音樂標籤?
音樂標籤會為音訊片段指派一個或多個描述性標籤。研究系統在輸入表示、監督方式、標籤與評估任務上各有不同。
為什麼音樂標籤被視為多標籤問題?
一首歌可以同時是搖滾、充滿活力和吉他驅動的,因此多個標籤適用於一首曲目。
在 Audio Spectrogram Transformer 論文中,哪種音訊表示被切割成區塊?
AST 在頻譜圖區塊上運作;具體而言,它使用對數梅爾頻譜圖作為輸入表示。此問題僅針對所引用的 AST 方法,而非所有 Transformer 標籤器。
為什麼音樂標籤模型對每個標籤使用 sigmoid 輸出而不是一個 softmax?
Softmax 強制機率總和為 1(單選); sigmoid 讓每個標籤獨立為真。
自監督預訓練對於 MERT 等模型有何作用?
在大型未標記語料庫上對屏蔽音訊預測進行預訓練,建立隨後在標記資料上進行微調的表示。
哪個資料集通常用於微調和基準音樂標記器?
MagnaTagATune 和百萬歌曲資料集是標準標記音樂基準; MNIST 和 ImageNet 是圖像集。