耳語語音識別
Whisper 是 OpenAI 的開源自動語音辨識系統，可將音訊轉換為跨 90 多種語言的文字。
概述
It matters because it brought near-human transcription quality to everyone for free, working robustly on accents, background noise, and technical jargon.
深入探討
Whisper 由 OpenAI 於 2022 年 9 月發布，是一種基於 Transformer 的編碼器-解碼器模型，經過 680,000 小時從網頁抓取的多語言、多任務音訊的訓練。與需要乾淨、標記資料的早期系統不同，Whisper 從混亂的現實世界錄音中學習，使其對口音、噪音和串擾具有極強的適應能力。單一模型可處理轉錄、英語翻譯、語言辨識和時間戳記。它的大小從「微小」（39M 參數）到「大」（1.55B）不等，讓使用者可以犧牲速度來換取準確性。由於權重已獲得麻省理工學院的公開許可，Whisper 幾乎在一夜之間成為無數播客轉錄者、字幕工具和語音應用程式的預設骨幹。
技術洞察
Whisper 將音訊分成 30 秒的區塊，將每個區塊轉換為 log-Mel 頻譜圖（80 個頻率通道），並將其饋送到 Transformer 編碼器。然後，解碼器在指定任務（轉錄與翻譯）、語言以及是否發出時間戳記的特殊標記的指導下，以自回歸方式預測文本標記。這種多任務令牌調節是一個聰明的技巧：一組權重根據解碼開始時提供的提示令牌執行許多工作。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
耳語語音辨識的未來
Whisper 引發了一波更快的衍生性商品浪潮，例如 Whisper.cpp、faster-whisper 以及在手機和筆記型電腦上即時運行的精煉版本。預計會有更嚴格的流（低延遲）變體、更好的說話人分類以及在低資源語言上的更強性能。隨著設備上音訊人工智慧的發展，輕量級 Whisper 風格的模型可能會為即時字幕、會議記錄和完全離線的輔助工具提供支持，在保護隱私的同時達到雲端級準確性。
現實世界的實施
自動產生播客和 YouTube 影片的可搜尋文字記錄和字幕
支援從 Zoom 或 Teams 音訊生成摘要的即時會議筆記應用程式
為記者將外文採訪直接翻譯成英文文本
為無法打字的使用者建立語音控制的輔助工具和聽寫
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Whisper Speech Recognition quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Whisper Speech Recognition?
Whisper 是 OpenAI 的開源自動語音辨識系統，可將音訊轉換為跨 90 多種語言的文字。這很重要，因為它免費為每個人帶來了接近人類的轉錄質量，在口音、背景噪音和技術術語方面表現出色。
Whisper 接受了大約多少小時的音訊訓練？
Whisper 接受了從網路收集的約 68 萬小時多語言、多任務音訊的訓練，這是一個異常龐大且多樣化的資料集。
Whisper 在編碼器之前根據原始音訊計算什麼中間表示？
Whisper 將每個 30 秒的音訊區塊轉換為 80 通道 log-Mel 頻譜圖，由 Transformer 編碼器處理。
單一 Whisper 模型如何執行轉錄和翻譯等多項任務？
在解碼開始時對特殊標記進行耳語條件，告訴它語言、任務以及是否發出時間戳記。
Whisper 使用什麼整體神經架構？
Whisper 是一個編碼器-解碼器 Transformer：編碼器讀取頻譜圖，解碼器自回歸產生文字標記。
與早期的 ASR 系統相比，為什麼 Whisper 被認為特別強大？
對大量不同的真實世界音訊（口音、雜訊、串擾）進行訓練，使 Whisper 具有強大的開箱即用穩健性，無需按域進行調整。