音訊人工智慧指南

CREPE 間距估計

CREPE 是一種卷積神經網絡,用於估計單聲道音訊的基頻。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. CREPE 間距估計的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它直接在波形幀上運行,並根據已建立的音調追蹤器進行評估,包括噪音魯棒性測試。它的音高估計是模型輸出,仍然可能是錯誤的,特別是當輸入超出所研究的任務或條件時。

深入探討

CREPE(音調估計的捲積表示)由 Kim、Salamon、Li 和 Bello 於 2018 年提出,可估計單聲道聲音(例如獨奏聲音或樂器)的基頻。此模型將深度卷積網路直接應用於時域波形幀,而不是先計算頻譜圖。它將音高估計定義為 360 個區間的分類,跨越大約 6 個八度音階,間隔 20 音分;峰值周圍的局部加權平均值可以細化頻率估計。作者將其與 pYIN 進行了比較,並評估了噪音下的泛化能力,報告其測試設定中的性能相同或更好。這些發現並不意味著 CREPE 對於每項錄音或任務都更準確。

現實世界的實施

追蹤歌手的音高以在聲樂訓練應用程式中提供即時調音回饋

使用精確的基頻曲線驅動自動調諧和音調校正工具

將獨奏樂器旋律唱成 MIDI 或樂譜

音樂教育和表演研究中的語調和顫音分析

CREPE 間距估計的未來

音高追蹤研究探索了複調輸入、模型延遲和設備上的緊湊推理。 CREPE 的波形優先設計仍然是一個有用的比較點,而較新的系統可能會將學習的表示與明確訊號處理方法結合。下游工具應將音調和置信度輸出視為可能需要平滑或審查的估計值。

付諸實踐

為什麼這很重要

  • 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
  • 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
  • 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。

留意

  • 如果未徵得同意,語音濫用和冒充風險就會增加。
  • 由於口音、方言或嘈雜的環境,準確性可能會下降。
  • 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。

後續步驟

  1. 獲得語音捕獲、克隆和重用的明確同意。
  2. 測試不同揚聲器和背景條件下的品質。
  3. 定義人員必須審查或批准輸出的時間。
  4. 標記合成音訊並保留來源記錄以供問責。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 CREPE 音高估計測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 CREPE 間距估計?

CREPE 是一種卷積神經網絡,用於估計單聲道音訊的基頻。它直接在波形幀上運行,並根據已建立的音調追蹤器進行評估,包括噪音魯棒性測試。它的音高估計是模型輸出,仍然可能是錯誤的,特別是當輸入超出所研究的任務或條件時。

CREPE 從音頻訊號中估計出什麼?

CREPE 預測單聲道音訊的基頻,即感知的音調。

CREPE主要是為什麼樣的音訊而設計的?

CREPE 估計單聲道訊號的音高,例如單一聲音或獨奏樂器。

CREPE 內部如何建構音調估計任務?

CREPE 輸出超過 360 個音調箱的機率分佈,將估計視為分類。

CREPE 將什麼作為其直接輸入?

與基於頻譜圖的方法不同,CREPE 透過卷積層對原始波形幀進行操作。

CREPE 的瀝青箱之間的距離大約是多少?

CREPE 使用 360 個間隔 20 美分的箱,在大約六個八度音程內提供亞半音分辨率。