OpenAI 耳語
Whisper 是 OpenAI 的開源自動語音辨識系統，可轉錄和翻譯多種語言的口語音訊。
概述
It matters because it brought robust, free, near-human transcription to anyone who can run the model.
深入探討
Whisper 於 2022 年 9 月發布，接受了從網路收集的約 680,000 小時多語言、多任務音訊的訓練。龐大而多樣的資料集是其穩健性的秘密：它比舊系統更好地處理口音、背景噪音和技術術語，而無需針對每個新領域進行微調。 Whisper 可以轉錄原始語言的語音、將多種語言的語音翻譯成英語、識別口語並添加時間戳記。 OpenAI 公開發布了模型權重和程式碼，因此它可以在筆記型電腦或資料中心本地運行，這推動了社群工具、更快的重新實現以及基於其構建的應用程式的爆炸性增長。準確性因語言和音訊品質而異，並且像所有此類系統一樣，它偶爾會「產生幻覺」文字。
技術洞察
Whisper 是一個 Transformer 編碼器-解碼器，作為序列到序列任務進行訓練。音訊被轉換為 log-Mel 頻譜圖，這是編碼器處理的隨時間變化的頻率的視覺表示。然後，解碼器預測文字標記，以特殊標記為條件，告訴模型要執行哪個任務：轉錄、翻譯、偵測語言或添加時間戳記。由於它同時從多個任務中的弱標記網路音訊中學習，因此單一模型可以廣泛概括，而不是針對一個狹窄的基準進行調整。
戰略影響
交通與覆蓋範圍
它透過轉錄、旁白和語音介面提高了可訪問性。
成本與預算
媒體團隊可以用更少的預算更快地交付精美的音訊。
速度與規模
面向客戶的系統可以處理更大規模的語音互動。
OpenAI Whisper 的未來
Whisper 已成為轉錄的預設構建塊，趨勢是在手機和邊緣設備上運行更快、更小和即時的變體。期待更嚴格的串流媒體支援、更好的說話者分離，以及與大型語言模型的集成，以進行清理、摘要和實時字幕。開放權重意味著社群不斷優化它，而 OpenAI 和其他人則推動更新的語音模型。減少幻覺文本，特別是在醫療和法律用途中，仍然是一個積極的優先事項。
現實世界的實施
記者自動轉錄訪談錄音，而不是手動打字
播客平台為每集產生可搜尋的文字記錄和字幕
會議工具可產生視訊通話的即時字幕和書面記錄
研究人員將口語現場錄音翻譯成英文文本進行分析
風險與防護欄
如果未徵得同意，語音濫用和冒充風險就會增加。
由於口音、方言或嘈雜的環境，準確性可能會下降。
如果沒有明確的標籤，合成音訊可能會被誤認為是真實的語音。
實施路線圖
獲得語音捕獲、克隆和重用的明確同意。
測試不同揚聲器和背景條件下的品質。
定義人員必須審查或批准輸出的時間。
標記合成音訊並保留來源記錄以供問責。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the OpenAI Whisper quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is OpenAI Whisper?
Whisper 是 OpenAI 的開源自動語音辨識系統，可轉錄和翻譯多種語言的口語音訊。這很重要，因為它為任何可以運行該模型的人帶來了強大、免費、近乎人類的轉錄。
OpenAI 的 Whisper 的主要目的是什麼？
Whisper 是一種自動語音辨識系統，可跨多種語言轉錄和翻譯口語音訊。
Whisper 大約使用了多少音訊進行訓練？
Whisper 接受了大約 68 萬小時從網路收集的多語言、多任務音訊的訓練，這提高了其穩健性。
Whisper 的編碼器處理什麼音訊表示形式？
音訊轉換為 Log-Mel 頻譜圖，它表示隨時間變化的頻率內容，由 Transformer 編碼器讀取。
Whisper 本身不提供哪些功能？
Whisper 可以處理轉錄、英語翻譯、語言檢測和時間戳，但它不是視訊生成器。
Whisper 為何引發了一波社群工具和應用程式浪潮？
由於 OpenAI 開源了權重和程式碼，因此開發人員可以在本地運行 Whisper 並建立許多工具和更快的重新實作。