概述
视觉语音识别使用人工智能来读取唇语，根据人的嘴巴、下巴和面部的运动来预测口语，有时甚至不需要任何音频。它对于嘈杂的环境、可访问性以及与声音相结合以实现更强大的语音识别都很重要。
唇读和视觉语音识别中的人工智能侧重于实际部署：将模型功能转化为可靠的日常工作流程，提供可衡量的价值。
深入探讨
即使对于人类来说，读唇语也很困难，因为许多声音在嘴唇上看起来是相同的。例如，/p/、/b/ 和 /m/ 声音形成单个“发音嘴型”组，在视觉上无法区分，因此上下文至关重要。像 Google DeepMind 的 LipNet 和后来的“观看、注意和拼写”系统这样的人工智能模型能够学习将嘴部区域视频帧序列映射到字符或单词，有时在基准数据集上的表现优于专业的人类唇语阅读器。最强大的系统是视听系统：它们将嘴唇的视频与音频信号融合在一起，这样当噪音破坏了声音时，视觉流就会填补空白。在光线不足、头部转动、手或面罩等遮挡以及不熟悉的扬声器的情况下，性能仍然会急剧下降。
技术洞察
典型的模型会裁剪嘴巴周围的紧密区域，然后将帧序列传递到 3D 卷积前端以捕获短运动模式，然后使用变压器或循环网络来模拟较长的时间上下文。使用 CTC 或基于注意力的序列到序列方法将输出解码为文本。视听融合结合了两种方式，因此每种方式都可以弥补对方的弱点。
掌握唇读和视觉语音识别领域的人工智能
视觉语音识别使用人工智能来读取唇语，根据人的嘴巴、下巴和面部的运动来预测口语，有时甚至不需要任何音频。它对于嘈杂的环境、可访问性以及与声音相结合以实现更强大的语音识别都很重要。唇读和视觉语音识别中的人工智能侧重于实际部署：将模型功能转化为可靠的日常工作流程，提供可衡量的价值。为了建立深入的理解，请将唇读和视觉语音识别中的人工智能视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，在唇读和视觉语音识别中使用人工智能的强大团队专注于工作流程结果，而不是模型演示，并尽早定义人工检查点。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
应用级设计决定了人工智能是否能改善实际结果。与此同时，将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
应用级设计决定了人工智能是否能改善实际结果。
应用级设计决定了人工智能是否能改善实际结果。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
良好的工作流程集成可以创造用户值得信赖的生产力收益。
良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
范围明确的用例可以减少变更疲劳和实施风险。
范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
在嘈杂的汽车或拥挤的房间里，通过阅读说话者的嘴唇和音频来提高语音助手的准确性
通过阅读嘴部动作帮助失声者恢复言语
改进麦克风拾取严重背景噪音时的自动字幕
法医或档案分析试图从无声或低沉的镜头中恢复对话
实施模式
人工智能在唇读和视觉语音识别中的实践
在嘈杂的汽车或拥挤的房间里，通过阅读说话者的嘴唇和音频来提高语音助手的准确性。
在嘈杂的汽车或拥挤的房间中，通过阅读说话者的嘴唇和音频来提高语音助手的准确性当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
人工智能在唇读和视觉语音识别中的实践
通过阅读嘴部动作帮助失声的人恢复言语。
通过读取嘴部动作帮助失去声音的人恢复言语 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
人工智能在唇读和视觉语音识别中的实践
改进麦克风拾取严重背景噪音时的自动字幕。
当麦克风拾取大量背景噪音时改进自动字幕 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
人工智能在唇读和视觉语音识别中的实践
法医或档案分析试图从无声或低沉的镜头中恢复对话。
试图从无声或低沉的镜头中恢复对话的取证或档案分析当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出，质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在完全自动化之前定义人工检查点。
在完全自动化之前定义人工检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
对用户进行提示、升级路径和质量标准方面的培训。
对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪任务级结果以确认持续价值。
跟踪任务级结果以确认持续价值。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。