CREPE 間距估計
CREPE 是一種深度學習模型，可直接從原始波形估計單聲道音訊訊號的基頻（音調）。
概述
It set a new accuracy standard for pitch tracking, especially on noisy or difficult recordings.
深入探討
CREPE（音高估計的捲積表示）由 Kim、Salamon、Li 和 Bello 於 2018 年提出，可預測單音（單音）音訊（例如演唱的聲音或獨奏樂器）的音高。與 YIN 或 pYIN 等依賴於訊號自相關的經典演算法不同，CREPE 是直接在時域音訊幀上訓練的深度卷積神經網路。它將音高估計構建為一個分類問題：它輸出 360 個音高區間的機率分佈，跨越大約 6 個八度音階，每個區間間隔 20 音分。具有最高激活值的箱，透過局部加權平均值進行細化，給出了估計頻率加上置信度得分。事實證明，CREPE 明顯比訊號處理方法更穩健，尤其是在噪音條件下，並且現在已成為許多音樂和語音分析流程中的標準組件。
技術洞察
CREPE 採用 1024 個樣本的音訊幀，並將其傳遞給六個堆疊的捲積層，最終形成具有 sigmoid 激活的 360 個單元的輸出層。每個單元對應於大約六個八度音階間隔 20 音分的音高倉。此網路針對以真實音高為中心的高斯模糊目標，使用二元交叉熵進行訓練。推斷時，預測頻率是峰箱周圍活化的局部加權平均值，峰高作為置信值。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
CREPE 間距估計的未來
音高估計正在朝著處理複調（多個同時音符）的聯合模型、實時調音和自動和聲的更低延遲以及在手機和嵌入式設備上運行的更小的蒸餾網絡的方向發展。 CREPE 的置信度輸出越來越多地回饋到自動轉錄、聲音校正和表達性能分析等下游任務。學習音高以及音色和發音的自我監督和多任務方法可能會將 CREPE 式的準確性擴展到乾淨的單聲道音訊之外。
現實世界的實施
追蹤歌手的音高以在聲樂訓練應用程式中提供即時調音回饋
使用精確的基頻曲線驅動自動調諧和音調校正工具
將獨奏樂器旋律唱成 MIDI 或樂譜
音樂教育和表演研究中的語調和顫音分析
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CREPE Pitch Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is CREPE Pitch Estimation?
CREPE 是一種深度學習模型，可直接從原始波形估計單聲道音訊訊號的基頻（音調）。它為音高追蹤設定了新的準確度標準，尤其是在吵雜或困難的錄音中。
CREPE 從音頻訊號中估計出什麼？
CREPE 預測單聲道音訊的基頻，即感知的音調。
CREPE主要是為什麼樣的音訊而設計的？
CREPE 估計單聲道訊號的音高，例如單一聲音或獨奏樂器。
CREPE 內部如何建構音調估計任務？
CREPE 輸出超過 360 個音調箱的機率分佈，將估計視為分類。
CREPE 將什麼作為其直接輸入？
與基於頻譜圖的方法不同，CREPE 透過卷積層對原始波形幀進行操作。
CREPE 的瀝青箱之間的距離大約是多少？
CREPE 使用 360 個間隔 20 美分的箱，在大約六個八度音程內提供亞半音分辨率。