概述
它将感知与特定任务的推理结合起来。正确命名对象并不意味着系统可以可靠地计数、比较或推断关系。
主要要点
- 将感知与推理分开。
- 测试受控且真实的场景。
- 检查解释背后的源值。
深入探讨
将任务分为必须感知的内容和必须推断的内容。图表问题可能需要读取轴、识别序列并比较值。如果轴读错了，最终的算术可能是正确的，但答案是错误的。使用受控示例来测试特定关系，然后评估真实图像。诊断数据集可以隔离计数或空间比较等技能，但简化场景的结果不会自动转移到杂乱的照片、图表或扫描文档中。检查对图像分辨率、裁剪和措辞的敏感度。小文本、重叠的对象和不明确的引用可能会改变模型可用的证据。当图像不能支持所要求的结论时，询问不确定性。根据实际的视觉证据验证答案。合理的解释可能依赖于普遍的期望，而不是图像所显示的内容。为了后续使用，请保留源和任何提取的值，以便审阅者可以独立重建比较。
04工作示例
结论前检查轴
想象一个图表，其垂直轴从 90 而不是零开始，条形图位于 95 和 100。
可见的条形高度可以使差异看起来很显着，但数值差异为 5 个单位。
在比较数值之前阅读标签和刻度，并将数字声明与视觉印象区分开来。
它显示了什么
这个构建的图表练习一起测试证据提取和解释。
现实世界的实施
阅读图表，同时保留轴单位和相关数据点。
与对象命名分开测试计数和空间关系。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
资料来源与延伸阅读
- Johnson and colleaguesCLEVR：用于视觉推理的诊断数据集
不断探索
常见问题
模型的解释能否证明它正确读取图像？
不。将陈述的对象、文本、价值观和关系与视觉证据本身进行比较。