概述
如果沒有它,探測器將報告同一輛車五到十次。
深入探討
物件偵測器通常會預測每個真實物件周圍的許多候選框,每個候選框都有一個置信度分數。 NMS 會修剪這種冗餘。經典的貪婪演算法按分數對所有框進行排序,保留得分最高的框,然後刪除與其重疊(通過並集交集,IoU 測量)超過閾值(例如 0.5)的任何剩餘框。它對倖存的盒子重複此操作,直到沒有剩餘。結果是每個物件都有一個代錶框。 NMS 簡單、快速且參數少,但它也有弱點:固定的 IoU 閾值可能會錯誤地抑制擁擠場景中真實的附近物體,並且它將重疊視為二值化。像 Soft-NMS 衰減分數這樣的變體,而不是直接刪除框來解決這個問題。
現實世界的實施
在相機和照片標記應用程式中將數十個重疊的臉部框折疊成每個臉部一個
在自動駕駛偵測器中為每輛車和行人產生乾淨的單一邊界框
消除文件和車牌 OCR 管道中重疊文字區域框的重複數據
清理零售貨架監控和庫存盤點系統中的冗餘對象建議
非極大值抑制的未來
NMS 仍然是預設的後處理器,但該領域正在朝著刪除它的方向發展。 Soft-NMS、DIoU-NMS 和學習變體改進了擁擠場景處理,而 DETR 等端對端偵測器使用基於集合的二分匹配來直接預測獨特的框,從而完全消除了 NMS。預計手動調整的閾值將讓位給學習或無 NMS 的設計,特別是當變壓器偵測器成熟且即時系統需要確定性、無分支後處理時。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是非極大值抑制?
非極大值抑制 (NMS) 是一個清理步驟,它將一堆雜亂的重疊偵測框變成每個物件一個整潔的框框。如果沒有它,探測器將報告同一輛車五到十次。
非極大值抑制在目標偵測中的主要目的是什麼?
NMS 消除了偵測器產生的許多重疊候選框,為每個物件留下一個代錶框。
標準 NMS 使用哪個指標來決定兩個框是否重疊過多?
NMS 測量與 IoU 的重疊:交集面積除以兩個框的並集面積。
在貪婪 NMS 中,每輪首先選擇哪個框?
貪心 NMS 按置信度對框進行排序,並保留得分最高的框,然後抑制重疊的得分較低的框。
在擁擠的場景中貪婪 NMS 的已知弱點是什麼?
由於它會刪除高於 IoU 閾值的任何框,因此 NMS 可能會錯誤地刪除對恰好重疊的不同物件的真實偵測。
Soft-NMS 與標準 NMS 有何不同?
Soft-NMS 降低(衰減)重疊框的置信度,而不是丟棄它們,從而減少擁擠場景中的錯誤抑制。