耳语语音识别
Whisper 是 OpenAI 的开源自动语音识别系统，可将音频转换为跨 90 多种语言的文本。
概述
It matters because it brought near-human transcription quality to everyone for free, working robustly on accents, background noise, and technical jargon.
深入探讨
Whisper 由 OpenAI 于 2022 年 9 月发布，是一种基于 Transformer 的编码器-解码器模型，经过 680,000 小时从网络抓取的多语言、多任务音频的训练。与需要干净、标记数据的早期系统不同，Whisper 从混乱的现实世界录音中学习，使其对口音、噪音和串扰具有极强的适应能力。单一模型可处理转录、英语翻译、语言识别和时间戳。它的大小从“微小”（39M 参数）到“大”（1.55B）不等，让用户可以牺牲速度来换取准确性。由于权重已获得麻省理工学院的公开许可，Whisper 几乎在一夜之间成为无数播客转录器、字幕工具和语音应用程序的默认骨干。
技术洞察
Whisper 将音频分成 30 秒的块，将每个块转换为 log-Mel 频谱图（80 个频率通道），并将其馈送到 Transformer 编码器。然后，解码器在指定任务（转录与翻译）、语言以及是否发出时间戳的特殊标记的指导下，以自回归方式预测文本标记。这种多任务令牌调节是一个聪明的技巧：一组权重根据解码开始时提供的提示令牌执行许多工作。
战略影响
交通与覆盖范围
它通过转录、旁白和语音界面提高了可访问性。
成本与预算
媒体团队可以用更少的预算更快地交付精美的音频。
速度与规模
面向客户的系统可以处理更大规模的语音交互。
耳语语音识别的未来
Whisper 引发了一波更快的衍生品浪潮，例如 Whisper.cpp、faster-whisper 以及在手机和笔记本电脑上实时运行的精炼版本。预计会有更严格的流（低延迟）变体、更好的说话人分类以及在低资源语言上的更强性能。随着设备上音频人工智能的发展，轻量级 Whisper 风格的模型可能会为实时字幕、会议记录和完全离线的辅助工具提供支持，在保护隐私的同时达到云级准确性。
现实世界的实施
自动生成播客和 YouTube 视频的可搜索文字记录和字幕
支持从 Zoom 或 Teams 音频生成摘要的实时会议笔记应用程序
为记者将外语采访直接翻译成英文文本
为无法打字的用户构建语音控制的辅助工具和听写
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
测试不同扬声器和背景条件下的质量。
定义人员必须审查或批准输出的时间。
标记合成音频并保留来源记录以供问责。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Whisper Speech Recognition quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Whisper Speech Recognition?
Whisper 是 OpenAI 的开源自动语音识别系统，可将音频转换为跨 90 多种语言的文本。这很重要，因为它免费为每个人带来了接近人类的转录质量，在口音、背景噪音和技术术语方面表现出色。
Whisper 接受了大约多少小时的音频训练？
Whisper 接受了从网络收集的约 680,000 小时多语言、多任务音频的训练，这是一个异常庞大且多样化的数据集。
Whisper 在编码器之前根据原始音频计算什么中间表示？
Whisper 将每个 30 秒的音频块转换为 80 通道 log-Mel 频谱图，由 Transformer 编码器处理。
单个 Whisper 模型如何执行转录和翻译等多项任务？
在解码开始时对特殊标记进行耳语条件，告诉它语言、任务以及是否发出时间戳。
Whisper 使用什么整体神经架构？
Whisper 是一个编码器-解码器 Transformer：编码器读取频谱图，解码器自回归生成文本标记。
与早期的 ASR 系统相比，为什么 Whisper 被认为特别强大？
对大量不同的真实世界音频（口音、噪声、串扰）进行训练，使 Whisper 具有强大的开箱即用稳健性，无需按域进行调整。