概述
它对所有折叠为目标序列的可能路径求和。
深入探讨
Graves 等人引入了用于未分段序列标注的 CTC。模型在每个输入时间步预测标签加空白的分布；CTC 定义了从帧级路径到目标序列的多对一映射，并对所有折叠为目标的路径求和概率。该方法避免了显式对齐标签，但假设给定输入表示时输出分布在时间步之间条件独立。
现实世界的实施
语音帧可以与转录文本对齐，而无需手动标注每一帧。
空白符号允许在重复输出标签之间进行分隔。
CTC 将重复标签压缩后再去除空白符号以形成输出。
带语言模型的束搜索可以将声学路径得分与语言上下文结合。
联结主义时间分类的未来
在存在未对齐序列标签且独立性假设可接受时使用 CTC。比较贪婪解码和束搜索在目标词汇表和语言模型上的表现。所引用的论文并不意味着 CTC 对所有流式或序列转导任务都是理想的。
付诸实践
为什么这很重要
- 交通与覆盖范围. 它通过转录、旁白和语音界面提高了可访问性。
- 成本与预算. 媒体团队可以用更少的预算更快地交付精美的音频。
- 速度与规模. 面向客户的系统可以处理更大规模的语音交互。
留意
- 如果未征得同意，语音滥用和冒充风险就会增加。
- 由于口音、方言或嘈杂的环境，准确性可能会下降。
- 如果没有明确的标签，合成音频可能会被误认为是真实的语音。
后续步骤
- 获得语音捕获、克隆和重用的明确同意。
- 测试不同扬声器和背景条件下的质量。
- 定义人员必须审查或批准输出的时间。
- 标记合成音频并保留来源记录以供问责。
不断探索
常见问题
什么是联结主义时间分类？
连接时序分类（CTC）在输入帧可用但帧与标签对齐未知时训练序列模型。它对所有折叠为目标序列的可能路径求和。
CTC旨在解决语音识别的核心问题是什么？
CTC 让网络在（音频、文本）对上进行训练，而无需任何人标记哪个帧对应于哪个字符，从而解决了对齐问题。
CTC中特殊的“空白”代币有什么用？
空白标记让模型在帧上发出“没有新内容”，并且至关重要的是，它将真正的重复（例如“hello”中的双 L）与折叠的重复分开。
CTC 如何计算目标转录的损失？
CTC 将目标概率定义为所有折叠为目标转录的帧级路径概率之和。动态规划高效计算该和；递推是一个单独的计算细节。
CTC 用于将帧路径转换为最终文本的两个折叠规则是什么？
通过首先合并相邻的重复字符然后删除所有空白标记来对原始每帧路径进行解码。
标准 CTC 对其输出做出了什么简化假设？
CTC 假设每帧条件独立，这使得求和易于处理，但意味着没有内置的语言模型。