視覺人工智慧指南

開放詞彙目標偵測

開放詞彙目標偵測器使用文字來指定類別或描述,以便在固定的框標記類別清單之外進行在地化。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 開放詞彙目標偵測的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.

深入探討

A closed-set detector predicts from a trained category vocabulary. Open-vocabulary approaches use language representations alongside visual features so inference-time text can specify additional categories. In common embedding-based designs, region features are compared with text embeddings instead of relying only on fixed per-class classifier weights. Image-text pretraining supplies a shared representation, although the training and grounding mechanisms differ across models such as ViLD, OWL-ViT, GLIP, Detic, and Grounding DINO. Novel relative to the box-labeled classes does not necessarily mean absent from all pretraining data. Object detection predicts locations, typically bounding boxes, as well as semantic matches. Evaluate prompts, thresholds, and domain shifts before using predictions as dataset annotations; arbitrary text is not a promise of arbitrary accurate perception.

現實世界的實施

透過輸入名稱來搜尋圖像中的稀有或自訂對象,無需重新訓練

機器人系統在抓取使用者以自然語言命名的物品之前對其進行定位

透過從文字清單中偵測許多新類別來自動標記資料集

內容審核,標記原始訓練標籤中不存在的描述對象

開放詞彙目標偵測的未來

開放詞彙檢測正在與基礎和分割相融合,其中自由格式短語(不僅僅是單字)定位對象,並與提示系統結合模型(例如用於掩模的 SAM)。期望更強的零射擊精度、更長、更具組合性的文字查詢(「筆記型電腦後面的紅色杯子」),以及與按需檢測的多模式助手的緊密耦合。隨著網路規模的圖像文字訓練的改進,檢測、檢索和語言理解之間的界限將朝著一般視覺基礎不斷模糊。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Open-Vocabulary Object Detection quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is Open-Vocabulary Object Detection?

Open-vocabulary object detectors use text to specify categories or descriptions for localization beyond a fixed box-labeled class list. Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.

開放詞彙目標偵測的定義能力是什麼?

開放詞彙檢測可以在測試時本地化由文本指定的類別,甚至是從未見過的用​​邊界框標記的類別。

In a common embedding-based open-vocabulary detector, how are candidate regions matched to user-supplied labels?

This is a common design; richer grounding architectures can add further language-region interactions.

哪種預訓練資源最能達到開放詞彙檢測?

大量圖像文字資料(由 CLIP 樣式模型使用)建構了共享嵌入空間,使文字能夠泛化到新類別。

What replaces fixed per-class classifier weights in a common embedding-based open-vocabulary design?

The label representations allow the supplied vocabulary to vary; architectures differ in the details of text-visual interaction.

下列哪一個是開放詞彙或基礎檢測模型的範例?

接地 DINO 以及 GLIP、OWL-ViT、ViLD 和 Detic 都是眾所周知的開放詞彙或接地偵測器。