概述
它對所有能夠合併為目標序列的路徑進行求和。
深入探討
Graves 等人為未分段序列標記引入 CTC。模型在每個輸入時間步預測標籤加空白的分佈;CTC 定義從幀級路徑到目標序列的多對一映射,並對所有合併為目標的路徑的機率求和。此方法避免了明確的對齊標籤,但假設給定輸入表示時,時間步之間的輸出分佈條件獨立。
現實世界的實施
語音幀可以對齊到轉錄文本,而不需要手動標記每個幀。
空白符號允許在重複輸出標籤之間進行分隔。
CTC 先將重複標籤合併,然後移除空白符號以形成輸出。
使用帶語言模型的束搜索可以結合聲學路徑分數和語言上下文。
聯結主義時間分類的未來
當存在未對齊的序列標籤且獨立性假設可接受時使用 CTC。比較貪婪解碼和束解碼在目標詞彙表和語言模型上的表現。所引用的論文並不意味著 CTC 適用於所有流式或序列轉導任務。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是聯結主義時間分類?
連結式時間分類(CTC)在輸入幀可用但幀到標籤對齊未知時訓練序列模型。它對所有能夠合併為目標序列的路徑進行求和。
CTC旨在解決語音辨識的核心問題是什麼?
CTC 讓網路在(音訊、文字)對上進行訓練,而無需任何人標記哪個幀對應於哪個字符,從而解決了對齊問題。
CTC中特殊的「空白」代幣有什麼用?
空白標記讓模型在幀上發出“沒有新內容”,並且至關重要的是,它將真正的重複(例如“hello”中的雙 L)與折疊的重複分開。
CTC 如何計算目標轉錄的損失?
CTC 將目標機率定義為所有合併為目標轉錄的幀級路徑機率之和。動態規劃有效計算此總和;遞推是獨立的計算細節。
CTC 用於將幀路徑轉換為最終文本的兩個折疊規則是什麼?
透過先合併相鄰的重複字元然後刪除所有空白標記來對原始每幀路徑進行解碼。
標準 CTC 對其輸出做出了什麼簡化假設?
CTC 假設每個幀條件獨立,這使得求和易於處理,但意味著沒有內建的語言模型。