OpenAI 耳语
Whisper 是 OpenAI 的开源自动语音识别系统，可转录和翻译多种语言的口语音频。
概述
It matters because it brought robust, free, near-human transcription to anyone who can run the model.
深入探讨
Whisper 于 2022 年 9 月发布，接受了从网络收集的约 680,000 小时多语言、多任务音频的训练。庞大而多样的数据集是其稳健性的秘密：它比旧系统更好地处理口音、背景噪音和技术术语，而无需针对每个新领域进行微调。 Whisper 可以转录原始语言的语音、将多种语言的语音翻译成英语、识别口语并添加时间戳。 OpenAI 公开发布了模型权重和代码，因此它可以在笔记本电脑或数据中心本地运行，这推动了社区工具、更快的重新实现以及基于其构建的应用程序的爆炸式增长。准确性因语言和音频质量而异，并且像所有此类系统一样，它偶尔会“产生幻觉”文本。
技术洞察
Whisper 是一个 Transformer 编码器-解码器，作为序列到序列任务进行训练。音频被转换为 log-Mel 频谱图，这是编码器处理的随时间变化的频率的视觉表示。然后，解码器预测文本标记，以特殊标记为条件，告诉模型要执行哪个任务：转录、翻译、检测语言或添加时间戳。由于它同时从多个任务中的弱标记网络音频中学习，因此单个模型可以广泛概括，而不是针对一个狭窄的基准进行调整。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
OpenAI Whisper 的未来
Whisper 已成为转录的默认构建块，趋势是在手机和边缘设备上运行更快、更小和实时的变体。期待更严格的流媒体支持、更好的说话者分离，以及与大型语言模型的集成，以进行清理、摘要和实时字幕。开放权重意味着社区不断优化它，而 OpenAI 和其他人则推动更新的语音模型。减少幻觉文本，特别是在医疗和法律用途中，仍然是一个积极的优先事项。
现实世界的实施
记者自动转录采访录音，而不是手动打字
播客平台为每集生成可搜索的文字记录和字幕
会议工具可生成视频通话的实时字幕和书面记录
研究人员将口语现场录音翻译成英文文本进行分析
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the OpenAI Whisper quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is OpenAI Whisper?
Whisper 是 OpenAI 的开源自动语音识别系统，可转录和翻译多种语言的口语音频。这很重要，因为它为任何可以运行该模型的人带来了强大、免费、近乎人类的转录。
OpenAI 的 Whisper 的主要目的是什么？
Whisper 是一种自动语音识别系统，可以跨多种语言转录和翻译口语音频。
Whisper 大约使用了多少音频进行训练？
Whisper 接受了大约 680,000 小时从网络收集的多语言、多任务音频的训练，这提高了其稳健性。
Whisper 的编码器处理什么音频表示形式？
音频被转换为 Log-Mel 频谱图，它表示随时间变化的频率内容，由 Transformer 编码器读取。
Whisper 本身不提供哪些功能？
Whisper 可以处理转录、英语翻译、语言检测和时间戳，但它不是视频生成器。
Whisper 为何引发了一波社区工具和应用程序浪潮？
由于 OpenAI 开源了权重和代码，因此开发人员可以在本地运行 Whisper 并构建许多工具和更快的重新实现。