คู่มือ AI แบบเห็นภาพ

การตรวจจับวัตถุคำศัพท์แบบเปิด

Open-vocabulary object detectors use text to specify categories or descriptions for localization beyond a fixed box-labeled class list.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการตรวจจับวัตถุคำศัพท์แบบเปิด
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.

เจาะลึก

A closed-set detector predicts from a trained category vocabulary. Open-vocabulary approaches use language representations alongside visual features so inference-time text can specify additional categories. In common embedding-based designs, region features are compared with text embeddings instead of relying only on fixed per-class classifier weights. Image-text pretraining supplies a shared representation, although the training and grounding mechanisms differ across models such as ViLD, OWL-ViT, GLIP, Detic, and Grounding DINO. Novel relative to the box-labeled classes does not necessarily mean absent from all pretraining data. Object detection predicts locations, typically bounding boxes, as well as semantic matches. Evaluate prompts, thresholds, and domain shifts before using predictions as dataset annotations; arbitrary text is not a promise of arbitrary accurate perception.

การใช้งานจริงในโลกแห่งความเป็นจริง

ค้นหารูปภาพสำหรับวัตถุหายากหรือวัตถุแบบกำหนดเองโดยพิมพ์ชื่อโดยไม่ต้องฝึกใหม่

ระบบหุ่นยนต์ค้นหาสิ่งของด้วยชื่อผู้ใช้ในภาษาธรรมชาติก่อนที่จะหยิบจับ

ชุดข้อมูลติดป้ายกำกับอัตโนมัติโดยการตรวจจับหมวดหมู่ใหม่มากมายจากรายการข้อความ

การกลั่นกรองเนื้อหาที่ทำเครื่องหมายว่าวัตถุที่อธิบายไม่ปรากฏในป้ายกำกับการฝึกอบรมดั้งเดิม

อนาคตของการตรวจจับวัตถุคำศัพท์แบบเปิด

การตรวจจับคำศัพท์แบบเปิดกำลังมาบรรจบกันด้วยการต่อสายดินและการแบ่งส่วน โดยที่วลีรูปแบบอิสระ (ไม่ใช่แค่คำเดียว) แปลวัตถุ และด้วยระบบที่พร้อมท์เมื่อรวมกับโมเดล เช่น SAM สำหรับมาสก์ คาดหวังความแม่นยำในการยิงเป็นศูนย์ที่แข็งแกร่งขึ้น ข้อความค้นหาที่มีองค์ประกอบยาวและยาวขึ้น ('เหยือกสีแดงด้านหลังแล็ปท็อป') และการเชื่อมต่อกับผู้ช่วยหลายรูปแบบที่ตรวจจับได้ตามความต้องการ เมื่อการฝึกอบรมข้อความรูปภาพระดับเว็บดีขึ้น เส้นแบ่งระหว่างการตรวจจับ การดึงข้อมูล และความเข้าใจภาษาจะค่อยๆ พร่ามัวไปสู่การมองเห็นทั่วไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Open-Vocabulary Object Detection quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Open-Vocabulary Object Detection?

Open-vocabulary object detectors use text to specify categories or descriptions for localization beyond a fixed box-labeled class list. Vision-language pretraining supports this flexibility, but naming a category does not guarantee that it will be detected correctly.

ความสามารถในการกำหนดของการตรวจจับวัตถุคำศัพท์แบบเปิดคืออะไร?

การตรวจจับคำศัพท์แบบเปิดสามารถแปลหมวดหมู่ที่ระบุด้วยข้อความ ณ เวลาทดสอบ แม้แต่หมวดหมู่ที่ไม่เคยเห็นซึ่งมีป้ายกำกับด้วยกล่องขอบก็ตาม

ในเครื่องมือตรวจสอบคำศัพท์แบบเปิดที่ใช้การฝังทั่วไป ภูมิภาคที่เป็นตัวเลือกจะจับคู่กับป้ายกำกับที่ผู้ใช้ระบุอย่างไร

นี่คือการออกแบบทั่วไป สถาปัตยกรรมสายดินที่สมบูรณ์ยิ่งขึ้นสามารถเพิ่มการโต้ตอบระหว่างภาษาและภูมิภาคเพิ่มเติมได้

ทรัพยากรการฝึกอบรมล่วงหน้าใดที่ช่วยให้สามารถตรวจจับคำศัพท์แบบเปิดได้มากที่สุด

ข้อมูลข้อความรูปภาพจำนวนมาก (ตามที่ใช้โดยโมเดลสไตล์ CLIP) สร้างพื้นที่ฝังที่ใช้ร่วมกันซึ่งช่วยให้ข้อความสามารถสรุปเป็นหมวดหมู่ใหม่ได้

อะไรจะมาแทนที่น้ำหนักลักษณนามต่อคลาสคงที่ในการออกแบบคำศัพท์แบบเปิดที่ใช้การฝังทั่วไป

การแสดงฉลากช่วยให้คำศัพท์ที่ให้มามีความหลากหลาย สถาปัตยกรรมแตกต่างกันในรายละเอียดของปฏิสัมพันธ์ระหว่างข้อความและภาพ

ข้อใดคือตัวอย่างโมเดลการตรวจจับคำศัพท์แบบเปิดหรือแบบกราวด์

Grounding DINO พร้อมด้วย GLIP, OWL-ViT, ViLD และ Detic เป็นเครื่องตรวจจับคำศัพท์แบบเปิดหรือแบบกราวด์ที่รู้จักกันดี

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →