概述
人工智能大声描述视觉世界——为盲人或弱视人士朗读文本、识别物体以及叙述场景。这很重要,因为它将智能手机摄像头变成了处理日常任务的一双随时可用的眼睛。
视障人士无障碍中的人工智能侧重于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。
深入探讨
几十年来,辅助功能依赖于屏幕阅读器(JAWS、NVDA、VoiceOver)等将屏幕文本转换为语音的工具。人工智能将其戏剧性地扩展到物理世界。 Seeing AI、Be My Eyes 和 Lookout 等应用程序使用计算机视觉和光学字符识别来阅读邮件、识别货币、识别面孔和描述房间。当 GPT-4 等多模式模型为 Be My Eyes 的“Be My AI”提供支持时,最大的飞跃出现了,用户可以拍摄任何场景并用自然语言提出后续问题——“炉子开着了吗?”或“这件衬衫是什么颜色的?”这些工具补充而不是取代人类志愿者和导盲犬,它们之所以有效,是因为图像理解和语音合成变得足够快且便宜,可以在手机上运行。
技术洞察
三种技术相结合:OCR 将拍摄的文本转换为字符;对象检测和图像字幕模型识别并描述相机所看到的内容;多模式法学硕士可以让用户就图像进行对话式跟进。设备上的加速和文本转语音引擎可在几秒钟内以自然的音频形式提供答案。对于数字内容,人工智能还会自动生成图像的“替代文本”描述,使屏幕阅读器可以导航网页和社交帖子。
掌握人工智能为视障人士提供无障碍服务
人工智能大声描述视觉世界——为盲人或弱视人士朗读文本、识别物体以及叙述场景。这很重要,因为它将智能手机摄像头变成了处理日常任务的一双随时可用的眼睛。视障人士无障碍中的人工智能侧重于实际部署:将模型功能转化为可靠的日常工作流程,提供可衡量的价值。为了建立深入的理解,请将针对视障人士的辅助功能中的人工智能视为一种操作模型,而不是单一功能:定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中,在视障人士无障碍中使用人工智能的强大团队专注于工作流程结果,而不是模型演示,并尽早定义人工检查点。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
应用级设计决定了人工智能是否能改善实际结果。与此同时,将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
应用级设计决定了人工智能是否能改善实际结果。
应用级设计决定了人工智能是否能改善实际结果。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。
良好的工作流程集成可以创造用户值得信赖的生产力收益。
良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。
范围明确的用例可以减少变更疲劳和实施风险。
范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。
现实世界的实施
将手机对准字母或药品标签,然后通过 OCR 大声朗读文本。
使用 Be My AI 拍摄冰箱并询问晚餐有哪些食材。
购物时识别纸币面额或扫描产品条形码。
自动生成网站上图像的替代文本描述,以便屏幕阅读器用户理解它们。
实施模式
人工智能在视障人士无障碍实践中的应用
将手机对准字母或药品标签,然后通过 OCR 大声朗读文本。
将手机对准字母或药品标签并通过 OCR 大声朗读文本 如果团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本,通常会获得更好的结果。
人工智能在视障人士无障碍实践中的应用
使用 Be My AI 拍摄冰箱并询问晚餐有哪些食材。
使用 Be My AI 拍摄冰箱并询问晚餐有哪些食材 当团队预先定义质量阈值、针对边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。
人工智能在视障人士无障碍实践中的应用
购物时识别纸币面额或扫描产品条形码。
在购物时识别纸币面额或扫描产品条形码 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。
人工智能在视障人士无障碍实践中的应用
自动生成网站上图像的替代文本描述,以便屏幕阅读器用户理解它们。
自动生成网站上图像的替代文本描述,以便屏幕阅读器用户理解它们。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出,质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。
在完全自动化之前定义人工检查点。
在完全自动化之前定义人工检查点。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。
对用户进行提示、升级路径和质量标准方面的培训。
对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。
跟踪任务级结果以确认持续价值。
跟踪任务级结果以确认持续价值。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。