引导式测验 · 中等 等级
Whisper 带时间戳的单词对齐测验
了解 Whisper 字对齐方法如何估计时间戳,以及为什么强制对齐和交叉注意力有不同的限制。
问题 1 的 8
字级对齐添加了 Whisper 原生输出所缺少的哪些内容?
预览每个问题8 问题
当您参加测验时,就会出现答案和解释。
- 字级对齐添加了 Whisper 原生输出所缺少的哪些内容?
- 每个单词的开始和结束时间
- 更高的转录准确度
- 演讲者身份标签
- 背景噪音去除
- 耳语时间戳使用哪个内部信号来及时定位单词?
- 音频波形幅度
- 解码器在音频帧上的交叉注意力权重
- 优化器的梯度
- 分词器词汇量大小
- Why does whisper-timestamped use Dynamic Time Warping during alignment?
- To translate the transcript into another language
- To identify the speaker without using audio
- To find an ordered, monotonic path between token and audio-frame scores
- To guarantee exact boundaries for every word
- 与原始注意力相比,WhisperX 如何锐化单词边界?
- 它提高了采样率
- 它仅使用更大的 Whisper 检查点
- 它删除了标点符号
- 它在文本上运行一个单独的基于音素的强制对齐模型
- Whisper 的编码器以什么速率产生音频帧?
- 每秒约 50 帧(每 20 毫秒一帧)
- 每秒恰好 1 帧
- 每秒 1000 帧
- 每个字一帧
- Whisper 处理音频的长度是多少?
- 5秒块
- 30秒的片段
- 2分钟的块
- 单个样品
- What does forced alignment assume is already available?
- A speaker identity for every sound
- A translation in every language
- A transcript to align with the audio
- A list of subtitle colors
- What limitation should users keep in mind when interpreting word timestamps?
- They prove the transcript is error-free
- They always identify the speaker correctly
- They are guaranteed to have millisecond accuracy
- They are estimates and can be wrong when speech or alignment is difficult