概述
它直接在波形幀上運行,並根據已建立的音調追蹤器進行評估,包括噪音魯棒性測試。它的音高估計是模型輸出,仍然可能是錯誤的,特別是當輸入超出所研究的任務或條件時。
深入探討
CREPE(音調估計的捲積表示)由 Kim、Salamon、Li 和 Bello 於 2018 年提出,可估計單聲道聲音(例如獨奏聲音或樂器)的基頻。此模型將深度卷積網路直接應用於時域波形幀,而不是先計算頻譜圖。它將音高估計定義為 360 個區間的分類,跨越大約 6 個八度音階,間隔 20 音分;峰值周圍的局部加權平均值可以細化頻率估計。作者將其與 pYIN 進行了比較,並評估了噪音下的泛化能力,報告其測試設定中的性能相同或更好。這些發現並不意味著 CREPE 對於每項錄音或任務都更準確。
現實世界的實施
追蹤歌手的音高以在聲樂訓練應用程式中提供即時調音回饋
使用精確的基頻曲線驅動自動調諧和音調校正工具
將獨奏樂器旋律唱成 MIDI 或樂譜
音樂教育和表演研究中的語調和顫音分析
CREPE 間距估計的未來
音高追蹤研究探索了複調輸入、模型延遲和設備上的緊湊推理。 CREPE 的波形優先設計仍然是一個有用的比較點,而較新的系統可能會將學習的表示與明確訊號處理方法結合。下游工具應將音調和置信度輸出視為可能需要平滑或審查的估計值。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是 CREPE 間距估計?
CREPE 是一種卷積神經網絡,用於估計單聲道音訊的基頻。它直接在波形幀上運行,並根據已建立的音調追蹤器進行評估,包括噪音魯棒性測試。它的音高估計是模型輸出,仍然可能是錯誤的,特別是當輸入超出所研究的任務或條件時。
CREPE 從音頻訊號中估計出什麼?
CREPE 預測單聲道音訊的基頻,即感知的音調。
CREPE主要是為什麼樣的音訊而設計的?
CREPE 估計單聲道訊號的音高,例如單一聲音或獨奏樂器。
CREPE 內部如何建構音調估計任務?
CREPE 輸出超過 360 個音調箱的機率分佈,將估計視為分類。
CREPE 將什麼作為其直接輸入?
與基於頻譜圖的方法不同,CREPE 透過卷積層對原始波形幀進行操作。
CREPE 的瀝青箱之間的距離大約是多少?
CREPE 使用 360 個間隔 20 美分的箱,在大約六個八度音程內提供亞半音分辨率。