概述
Listen、Attend 和 Spell (LAS) 是 2015 年具有里程碑意义的神经网络，它可以将语音直接转录为字符，无需手工构建的发音词典或单独的语言模型。它表明单个端到端模型可以进行语音识别。
Listen attend 和 Spell 位于音频 AI 工作流程中，可转换语音、音乐和声音以实现通信、可访问性和媒体制作。
深入探讨
Listen、Attend 和 Spell 由 Google 研究人员 Chan、Jaitly、Le 和 Vinyals 于 2015 年推出，是首批真正的端到端语音识别器之一。它由两部分组成：“Listener”（一种金字塔形双向 LSTM，在压缩时间维度的同时对音频进行编码）和“Speller”（一种基于注意力的 LSTM 解码器，一次发出一个字符）。注意力机制让拼写者专注于每个输出字母的相关音频片段。与旧的 HMM-DNN 管道不同，LAS 不需要音素字典，不需要强制对齐，也不需要单独训练的语言模型；它从转录的音频中联合学习拼写、单词边界和声学。它直接启发了现代序列到序列和基于注意力的 ASR 系统。
技术洞察
LAS 将编码器-解码器与注意力机制相结合。金字塔形 LSTM 编码器将三层中每一层的时间分辨率减半，将长声学序列切割成可管理的长度，因此注意力易于处理。在每个解码步骤中，Speller 都会计算所有编码器状态的注意力权重，将它们混合到上下文向量中，并预测下一个字符。训练最大化正确字符序列的概率；计划采样技巧减少了训练/测试不匹配。
掌握听、听、拼写
Listen、Attend 和 Spell (LAS) 是 2015 年具有里程碑意义的神经网络，它可以将语音直接转录为字符，无需手工构建的发音词典或单独的语言模型。它表明单个端到端模型可以进行语音识别。 Listen attend 和 Spell 位于音频 AI 工作流程中，可转换语音、音乐和声音以实现通信、可访问性和媒体制作。为了建立深入的理解，请将“听听”和“拼写”视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用 Listen attend 和 Spell 的强大团队将质量、延迟和同意视为部署策略中同等重要的部分。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
它通过转录、旁白和语音界面提高了可访问性。与此同时，如果未征得同意，语音滥用和冒充风险就会增加。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
它通过转录、旁白和语音界面提高了可访问性。
它通过转录、旁白和语音界面提高了可访问性。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
媒体团队可以用更少的预算更快地交付精美的音频。
媒体团队可以用更少的预算更快地交付精美的音频。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
面向客户的系统可以处理更大规模的语音交互。
面向客户的系统可以处理更大规模的语音交互。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
无需发音词典即可将英语口语直接转录成字母
作为基于注意力的语音听写和字幕系统的概念基础
演示学术语音识别课程作业和基准的端到端培训
启发性的序列到序列模型后来用于语音翻译管道
实施模式
在练习中听、听、拼写
无需发音词典即可将英语口语直接转录成字母。
在没有发音词典的情况下将英语口语直接转录成字母当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
在练习中听、听、拼写
作为基于注意力的语音听写和字幕系统的概念基础。
作为基于注意力的语音听写和字幕系统的概念基础当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
在练习中听、听、拼写
演示学术语音识别课程作业和基准的端到端培训。
演示学术语音识别课程作业和基准的端到端培训当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
在练习中听、听、拼写
启发性的序列到序列模型后来被用于语音翻译管道。
鼓舞人心的序列到序列模型后来用于语音翻译管道当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
如果未征得同意，语音滥用和冒充风险就会增加。
由于口音、方言或嘈杂的环境，准确性可能会下降。
如果没有明确的标签，合成音频可能会被误认为是真实的语音。
实施路线图
获得语音捕获、克隆和重用的明确同意。
获得语音捕获、克隆和重用的明确同意。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
测试不同扬声器和背景条件下的质量。
测试不同扬声器和背景条件下的质量。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
定义人员必须审查或批准输出的时间。
定义人员必须审查或批准输出的时间。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
标记合成音频并保留来源记录以供问责。
标记合成音频并保留来源记录以供问责。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。