视频理解

任务包括定位事件、跟踪对象、总结剪辑和回答时间问题。一些采样帧可以支持一些观察结果，同时丢失简短事件或它们之间的变化。

主要要点

• 指定时间分辨率和采样。
• 验证顺序和时间戳。
• 将结论限制在观察到的证据上。

定义临时任务。识别事件是否出现在任何地方不同于定位其开始和结束或解释其顺序。记录系统使用的帧采样方法、音频处理和时间分辨率。稀疏抽样可以降低处理成本，但会丢弃证据。采样帧之间的短事件可能永远不会到达模型。音频可以添加相关信息，但自动转录可能会省略声音、说话者重叠或不确定性。与对象识别分开评估时间顺序和定位。系统可以在颠倒操作顺序的同时识别正确的对象。根据原始媒体检查时间戳，并将观察到的事件与推断的意图区分开来。使用现实的持续时间和捕获条件。长视频、镜头切换、重复场景、叠加和低质量音频可能会产生在短演示中不可见的错误。保留相关时间范围的链接，并在采样证据不足时进行沟通。

1. 想象一个 60 秒的剪辑，在时间 0、5、10 以及之后每 5 秒采样一次。
2. 这些采样帧中不存在仅发生 3.1 至 3.4 秒的短暂事件。
3. 在声称事件没有发生之前增加时间覆盖范围或检查原始间隔。

构造的时序示例解释了稀疏采样的局限性。