概述
這很重要,因為醫學影像、自動駕駛和照片編輯等任務需要像素級精度,而不僅僅是近似位置。
深入探討
分割註釋有兩種密切相關的形式:多邊形註釋(標記器點擊一系列頂點來追蹤物件的輪廓)和遮罩註釋(其中屬於物件的每個像素都直接繪製或選取)。多邊形儲存為座標列表,並且緊湊且可編輯,這使得它們常見於具有相當平滑邊緣的對象,例如汽車、建築物或道路標記。蒙版儲存為像素級位圖,更適合具有不規則或細粒度邊界的對象,例如頭髮、樹葉或煙霧,其中頂點之間具有直邊的多邊形會模糊真實形狀。對於複雜的對象,手動追蹤可能非常耗時,且品質檢查可能包括第二個審核員檢查邊界準確性。即時分割模型,包括 2023 年發布的 Meta 的 Segment Anything Model (SAM),改變了一些工作流程:在支援的工具中,人們可以單擊一個點或繪製一個框並接收建議的掩模,然後對其進行檢查和更正。節省的時間或成本取決於任務、模型、工具和提案品質。一個常見的誤解是分割總是意味著將物件與其背景分開。在實踐中,全景分割標記影像中的每個像素,包括天空、道路和草地等背景區域,而不僅僅是離散的前景物體。另一個誤解是掩模比多邊形更準確。對於多邊形友善的形狀,放置得當的多邊形可以匹配掩模精度,同時使用更少的儲存空間並且更容易讓人驗證。
現實世界的實施
自動駕駛汽車資料集團隊追蹤行人、路緣石和車道油漆的精確輪廓,因此分割模型可以區分從人行道到像素的可駕駛表面。
放射學標記團隊在 CT 切片中的腫瘤上繪製掩模,逐個體素地標記邊界體素,以便診斷模型了解腫瘤的真實形狀,而不是一個粗糙的盒子。
照片編輯應用程式的背景移除功能是在蒙版上進行訓練的,註釋者可以在蒙版上追蹤髮絲和衣服邊緣,因此切口不會留下硬質的矩形光環。
一家衛星圖像公司讓註釋者在各個建築物佔地面積和農田邊界周圍繪製多邊形,以便土地利用模型可以計算建築物數量並估計農場地塊大小。
多邊形與分割掩模註釋的未來
及時的分割模型可能會繼續推動註釋工作從追蹤轉向驗證,人類越來越多地糾正模型建議而不是從頭開始繪製。這應該會降低為較窄領域建立分割資料集的成本,例如特定的醫學成像模式或工業檢查,其中通用模型仍然會對不熟悉的形狀或紋理產生系統錯誤。視訊分割(當物件移動時,掩模必須在幀之間保持一致)仍然難以完全自動化,並且在一段時間內可能會繼續需要比單一影像分割更多的人工審查。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是分割的多邊形和蒙版註釋?
多邊形和蒙版註釋是勾勒出影像中屬於某個物件的精確像素的過程,而不僅僅是在其周圍繪製一個框,因此模型可以了解物件邊界的實際位置。這很重要,因為醫學影像、自動駕駛和照片編輯等任務需要像素級精度,而不僅僅是近似位置。
為什麼註釋團隊會選擇使用蒙版而不是多邊形來標記照片中人物的頭髮?
多邊形用直線連接頂點,這很難代表細小的、不規則的邊界,例如單獨的髮絲,因此像素級蒙版可以更好地捕捉細節。
2023 年發布的原始 SAM 為分段工作流程提供了什麼?
原始的SAM是即時的分割模型;其提議的遮罩仍需要審查,且其支援是特定於版本的。
全景分割與僅標示汽車和行人等前景物體有何不同?
全景分割覆蓋整個影像,包括背景,而不是僅隔離離散的前景物件。
在COCO註解格式中,多邊形頂點通常如何表示?
多邊形儲存定義邊界路徑的有序座標點序列,稍後在需要時將其光柵化為掩模。
根據指南,遮罩註解中的遊程編碼(RLE)有何用途?
RLE 是一種透過對相同像素值的連續運行進行編碼來儲存遮罩的緊湊方法,這種方法非常有效,因為大遮罩區域通常是統一的。