概述
Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.
深入探讨
A closed-set detector predicts from a trained category vocabulary. Open-vocabulary approaches use language representations alongside visual features so inference-time text can specify additional categories. In common embedding-based designs, region features are compared with text embeddings instead of relying only on fixed per-class classifier weights. Image-text pretraining supplies a shared representation, although the training and grounding mechanisms differ across models such as ViLD, OWL-ViT, GLIP, Detic, and Grounding DINO. Novel relative to the box-labeled classes does not necessarily mean absent from all pretraining data. Object detection predicts locations, typically bounding boxes, as well as semantic matches. Evaluate prompts, thresholds, and domain shifts before using predictions as dataset annotations; arbitrary text is not a promise of arbitrary accurate perception.
现实世界的实施
通过输入名称来搜索图像中的稀有或自定义对象，无需重新训练
机器人系统在抓取用户用自然语言命名的物品之前对其进行定位
通过从文本列表中检测许多新类别来自动标记数据集
内容审核，标记原始训练标签中不存在的描述对象
开放词汇目标检测的未来
开放词汇检测正在与基础和分割相融合，其中自由格式短语（不仅仅是单个单词）定位对象，并与提示系统结合模型（例如用于掩模的 SAM）。期望更强的零射击精度、更长、更具组合性的文本查询（“笔记本电脑后面的红色杯子”），以及与按需检测的多模式助手的紧密耦合。随着网络规模的图像文本训练的改进，检测、检索和语言理解之间的界限将朝着一般视觉基础不断模糊。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是开放词汇目标检测？
Open-vocabulary object detectors use text to specify categories or descriptions for localization beyond a fixed box-labeled class list. Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.
开放词汇目标检测的定义能力是什么？
开放词汇检测可以在测试时本地化由文本指定的类别，甚至是从未见过的用边界框标记的类别。
In a common embedding-based open-vocabulary detector, how are candidate regions matched to user-supplied labels?
This is a common design; richer grounding architectures can add further language-region interactions.
哪种预训练资源最能实现开放词汇检测？
大量图像文本数据（由 CLIP 样式模型使用）构建了共享嵌入空间，使文本能够泛化到新类别。
What replaces fixed per-class classifier weights in a common embedding-based open-vocabulary design?
The label representations allow the supplied vocabulary to vary; architectures differ in the details of text-visual interaction.
以下哪一个是开放词汇或基础检测模型的示例？
接地 DINO 以及 GLIP、OWL-ViT、ViLD 和 Detic 都是众所周知的开放词汇或接地探测器。