概述
Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
深入探讨
Introduced in 2022, Whisper is a Transformer encoder-decoder trained on approximately 680,000 hours of multilingual audio paired with transcripts or translation text collected from the web. The data is uneven across languages, and performance varies by language and task. Whisper processes audio in 30-second chunks and uses task and language tokens to select transcription, English translation, or timestamped output. Released weights and inference code are under the MIT license.
现实世界的实施
自动生成播客和 YouTube 视频的可搜索文字记录和字幕
支持从 Zoom 或 Teams 音频生成摘要的实时会议笔记应用程序
为记者将外语采访直接翻译成英文文本
为无法打字的用户构建语音控制的辅助工具和听写
耳语语音识别的未来
Whisper’s release supports transcription and captioning applications. Real-world performance depends on language coverage, audio quality, accents, domain vocabulary, and evaluation conditions. Measure error rates on representative recordings, with human review where transcripts have consequential use.
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是耳语语音识别？
Whisper is OpenAI’s multilingual speech-recognition model, trained with large-scale weak supervision on approximately 680,000 hours of web-collected audio. Its encoder-decoder design supports transcription, English translation, language identification, and timestamps, while accuracy varies by language, recording, and task.
Whisper 接受了大约多少小时的音频训练？
Whisper 接受了从网络收集的约 680,000 小时多语言、多任务音频的训练，这是一个异常庞大且多样化的数据集。
Whisper 在编码器之前根据原始音频计算什么中间表示？
Whisper 将每个 30 秒的音频块转换为 80 通道 log-Mel 频谱图，由 Transformer 编码器处理。
单个 Whisper 模型如何执行转录和翻译等多项任务？
在解码开始时对特殊标记进行耳语条件，告诉它语言、任务以及是否发出时间戳。
Whisper 使用什么整体神经架构？
Whisper 是一个编码器-解码器 Transformer：编码器读取频谱图，解码器自回归生成文本标记。
与早期的 ASR 系统相比，为什么 Whisper 被认为特别强大？
对大量不同的真实世界音频（口音、噪声、串扰）进行训练，使 Whisper 具有强大的开箱即用稳健性，无需按域进行调整。