自動音樂轉錄
自動音樂轉錄 (AMT) 將原始音樂錄音轉換為符號符號，例如樂譜、MIDI 或鋼琴捲軸。
概述
It tackles one of the hardest problems in audio AI: untangling many overlapping notes played at once.
深入探討
AMT 系統監聽音訊波形並輸出正在演奏的音符、開始時間、持續時間以及有時由哪種樂器演奏。核心挑戰是複調：當多個音符同時發聲時，它們的諧波在頻譜中重疊並模糊在一起，因此單個 C 和 G 很難與單個響亮的音符分開。現代系統將音訊轉換為時頻表示，例如梅爾頻譜圖或恆定 Q 變換，然後使用深度神經網路來預測音符開始、偏移和音高。 Google 的 Onsets 和 Frames 模型是鋼琴轉錄的里程碑，而 MT3 等較新的 Transformer 模型可以同時轉錄多種樂器。
技術洞察
一個關鍵的見解是將起始檢測與幀級基音檢測分開。像 Onsets 和 Frames 這樣的模型使用一個網絡頭來確定音符開始的精確時刻（一個尖銳的、充滿活力的事件），另一個網絡頭來跟踪每個幀中發出的音高。然後，開始預測對幀輸出進行門控，從而顯著減少虛假音符。恆定 Q 變換很有幫助，因為它以對數方式間隔頻率區間，匹配音高間隔八度的方式。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
自動音樂轉錄的未來
AMT 正在從鋼琴獨奏轉向可靠的多樂器和全樂隊轉錄，包括鼓、人聲以及轉音和顫音等表現技巧。在大型合成和對齊資料集上訓練的 Transformer 架構正在縮小差距。期望與源分離、現場表演的即時轉錄以及捕獲微計時和動態而不僅僅是音符的工具進行更緊密的整合。長期目標是建立一個將任何錄音轉換為可編輯、人類可讀樂譜的系統。
現實世界的實施
AnthemScore 和類似應用程式將 MP3 錄音轉換為可編輯的樂譜，供音樂家透過耳朵學習歌曲
從鋼琴錄音中提取 MIDI，以便製作人可以在 DAW 中重新配音或量化演奏
音樂教育工具可將學生彈奏的音符與樂譜進行比較，以標記錯誤或遺漏的音符
音樂學家將歷史或即興錄音（如爵士樂獨奏）轉錄成符號進行分析
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Automatic Music Transcription quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Automatic Music Transcription?
自動音樂轉錄 (AMT) 將原始音樂錄音轉換為符號符號，例如樂譜、MIDI 或鋼琴捲軸。它解決了音訊人工智慧中最難的問題之一：理清同時播放的許多重疊音符。
自動音樂轉錄主要輸出什麼？
AMT 將音訊錄音轉換為符號符號，例如 MIDI、鋼琴捲軸或描述所演奏音符的樂譜。
為什麼複音音樂特別難轉錄？
當多個音符同時響起時，它們的和聲會重疊，因此很難區分存在哪些單獨的音高。
Google 的起始和幀模型有什麼值得注意的地方？
起始點和幀使用一個頭來檢測精確的音符起始點，另一個頭用於檢測持續的音高，起始點控制幀輸出。
為什麼恆定 Q 變換對音樂有用？
音樂音高以對數間隔（八度音階頻率加倍），CQT 的對數間隔箱自然與此對齊。
轉錄中的「起始」指什麼？
開始是音符開始時尖銳、充滿活力的時刻，它比其延音更容易精確定位。