概述
Whisper-timestamped 使用 Whisper 解碼器交叉注意力與動態時間扭曲,而 WhisperX 使用單獨的強制對齊模型;兩者都會產生需要審查的估計。
深入探討
Whisper 的轉錄輸出通常將文字分組為具有分段級時間戳記的分段。耳語時間戳記項目使用解碼器交叉注意和動態時間規則來估計字級時序。 WhisperX 則相反,將強制對齊應用於已知的轉錄本,使用聲學對齊模型來估計更細粒度的邊界。強制對齊定位提供的文字;它不獨立驗證這些話。不同的語言、口音、重疊的語音、噪音、音樂和轉錄錯誤都會影響對齊,因此當精確的時間很重要時,應該檢查單字時間戳。
現實世界的實施
產生 YouTube 和 TikTok 字幕,螢幕上的文字與所說的完全一致
強大的字幕編輯器可讓您點擊一個單字並跳到該音訊時刻
將翻譯後的腳本與原始音訊對齊,以實現自動配音和口型同步計時
建立可搜尋的播客檔案,其中文字查詢精確到所說的秒數
Whisper 時間戳對齊的未來
對齊工具可以改進字幕和音訊編輯,但其實際品質取決於語言覆蓋範圍、音訊條件、轉錄品質以及針對手動檢查範例的評估。人工審核對於後續或緊密同步的媒體仍然有用。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什么是 Whisper 时间戳字对齐?
單字對齊估計所提供轉錄中的單字或音素在音訊中出現的位置。 Whisper-timestamped 使用 Whisper 解碼器交叉注意力與動態時間扭曲,而 WhisperX 使用單獨的強制對齊模型;兩者都會產生需要審查的估計。
字級對齊增加了 Whisper 原生輸出所缺少的哪些內容?
Whisper 本身提供粗略的每段時間戳記;對齊添加了精確的每個單字的開始和結束時間。
耳語時間戳記使用哪個內部訊號來及時定位單字?
交叉注意力揭示了解碼器在發出每個令牌時關注哪些音訊幀,指示時間。
為什麼 whisper-timestamped 在對齊時使用動態時間扭曲?
動態時間扭曲會尋找一條有序的對齊路徑,通過 token‑to‑frame 分數;它並不保證每個估計邊界都是精確的。
與原始注意力相比,WhisperX 如何銳化單字邊界?
WhisperX 使用 wav2vec 2.0 等音素模型來對齊 Whisper 的文本,以獲得比注意力峰值更清晰的邊緣。
Whisper 的編碼器以什麼速率產生音訊幀?
Whisper 以大約每秒 50 幀或每 20 毫秒一幀的速度對 log-Mel 頻譜圖進行編碼。