概述
Its Listener is a pyramidal recurrent encoder; its Speller is an attention-based recurrent decoder. The original paper reports results for a specific Google voice-search subset and does not establish that LAS outperformed the compared production system.
深入探討
LAS 論文定義了兩個組件:Listener(監聽器),一個接收濾波器組頻譜的錐形遞迴編碼器;以及 Speller(拼寫器),一個基於注意力的遞迴解碼器,用於輸出字元。錐形編碼器縮短了序列長度,使得對編碼幀的注意力機制更易於管理。該論文描述了識別器組件的聯合學習,並報告稱其模型在沒有發音字典或單獨訓練的語言模型的情況下生成了字元序列。在 Google 語音搜尋的一個子集上,報告顯示在沒有語言模型的情況下 WER 為 14.1%,使用語言模型重評分後為 10.3%;相比之下,CLDNN-HMM 的結果為 8.0%。這些歷史數據僅適用於該論文的特定評估。
現實世界的實施
以 LAS 作為編碼器-解碼器辨識器的歷史範例,它能從聲學輸入輸出字元。
檢視金字塔型的監聽器(Listener)如何縮短編碼器序列的長度。
Trace how attention connects each Speller output step to encoder states.
請僅在論文所述的任務和評估設置範圍內比較報告的 WER。
聽、聽、拼的未來
LAS 對於理解基於注意力的端到端 ASR 具有歷史意義。後續系統探索了不同的編碼器、目標函數和串流機制;性能和延遲必須在相同的數據和解碼條件下進行比較。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是聽、聽、拼?
Listen, Attend and Spell (LAS) 是一個 2015 年的端到端語音識別模型,將聲學濾波器組特徵映射到字元序列。其 Listener 是一個錐形遞迴編碼器;其 Speller 是一個基於注意力的遞迴解碼器。原始論文報告了針對特定 Google 語音搜尋子集的結果,並未斷言 LAS 優於所比較的生產系統。
LAS 模型的兩個主要組成部分是什麼?
LAS 由處理音訊的「監聽器」編碼器和發出字元的基於注意力的「拼字器」解碼器組成。
LAS 中的 Speller 輸出什麼?
Speller 是一個解碼器,可以逐個字元產生轉錄,直接學習拼字。
為什麼 LAS 編碼器被稱為「金字塔」?
金字塔 BLSTM 的每一層都將序列長度減半,縮短了長音頻序列,因此註意力在計算上是可行的。
LAS 特別不需要哪些舊組件?
與經典的 HMM-DNN 管道不同,LAS 直接從音訊到文字對進行學習,無需音素字典或強制對齊。
哪種機制可以讓拼字者專注於每個角色的音訊相關部分?
注意力機制計算編碼器狀態的權重,形成解碼器在每個步驟中使用的上下文向量。