概述
其編碼器-解碼器設計支援轉錄、英譯、語言識別與時間戳記,但準確度會因語言、錄音內容與任務而異。
深入探討
Whisper 於 2022 年推出,是一款基於 Transformer 編碼器-解碼器架構的模型,利用約 68 萬小時從網路收集的多語言音訊及其對應的轉錄或翻譯文字進行訓練。由於各語言的資料量不均,其效能會隨語言與任務而有所不同。Whisper 以 30 秒為單位處理音訊,並透過任務與語言標記來選擇轉錄、英譯或帶有時間戳記的輸出。其發布的權重與推論程式碼採用 MIT 授權條款。
現實世界的實施
自動產生播客和 YouTube 影片的可搜尋文字記錄和字幕
支援從 Zoom 或 Teams 音訊生成摘要的即時會議筆記應用程式
為記者將外文採訪直接翻譯成英文文本
為無法打字的使用者建立語音控制的輔助工具和聽寫
耳語語音辨識的未來
Whisper 的發布支援轉錄與字幕應用。實際效能取決於語言覆蓋範圍、音訊品質、口音、領域詞彙及評估條件。建議在具代表性的錄音上測量錯誤率,若轉錄內容涉及重要用途,則應進行人工審核。
付諸實踐
為什麼這很重要
- 交通與覆蓋範圍. 它透過轉錄、旁白和語音介面提高了可訪問性。
- 成本與預算. 媒體團隊可以用更少的預算更快地交付精美的音訊。
- 速度與規模. 面向客戶的系統可以處理更大規模的語音互動。
留意
- 如果未徵得同意,語音濫用和冒充風險就會增加。
- 由於口音、方言或嘈雜的環境,準確性可能會下降。
- 如果沒有明確的標籤,合成音訊可能會被誤認為是真實的語音。
後續步驟
- 獲得語音捕獲、克隆和重用的明確同意。
- 測試不同揚聲器和背景條件下的品質。
- 定義人員必須審查或批准輸出的時間。
- 標記合成音訊並保留來源記錄以供問責。
不斷探索
常見問題
什麼是耳語語音辨識?
Whisper 是 OpenAI 的多語言語音辨識模型,透過約 68 萬小時從網路收集的音訊進行大規模弱監督學習訓練。其編碼器-解碼器設計支援轉錄、英譯、語言識別與時間戳記,但準確度會因語言、錄音內容與任務而異。
Whisper 接受了大約多少小時的音訊訓練?
Whisper 接受了從網路收集的約 68 萬小時多語言、多任務音訊的訓練,這是一個異常龐大且多樣化的資料集。
Whisper 在編碼器之前根據原始音訊計算什麼中間表示?
Whisper 將每個 30 秒的音訊區塊轉換為 80 通道 log-Mel 頻譜圖,由 Transformer 編碼器處理。
單一 Whisper 模型如何執行轉錄和翻譯等多項任務?
在解碼開始時對特殊標記進行耳語條件,告訴它語言、任務以及是否發出時間戳記。
Whisper 使用什麼整體神經架構?
Whisper 是一個編碼器-解碼器 Transformer:編碼器讀取頻譜圖,解碼器自回歸產生文字標記。
與早期的 ASR 系統相比,為什麼 Whisper 被認為特別強大?
對大量不同的真實世界音訊(口音、雜訊、串擾)進行訓練,使 Whisper 具有強大的開箱即用穩健性,無需按域進行調整。