視覺人工智慧指南

圖像摳圖

影像摳圖是一門以像素完美、半透明邊緣從照片中剪切主題的藝術,捕捉每一縷頭髮或運動模糊。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 圖像摳圖的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

與簡單的分割不同,它會估計每個像素中有多少屬於前景。

深入探討

摳圖解決了合成方程式:每個觀察到的像素都是前景色和背景色的混合,並透過 0 到 1 之間的 alpha 值混合。目標是恢復 alpha 遮罩 - 一種軟掩模,其中 1 是完全前景,0 是完全背景,小數值捕獲模糊或半透明區域。這在數學上是不確定的,因此經典方法依賴使用者繪製的三元圖來標記明確的前景、明確的背景和未知區域。 Deep Image Matting (2017) 等深度學習方法學習直接從影像和 trimap 預測 alpha,而 MODNet 和 Robust Video Matting 等較新的無 trimap 模型則僅根據肖像或網路攝影機輸入即時估計遮罩。

現實世界的實施

視訊會議中的虛擬背景,即時替換揚聲器後面的房間

影視綠幕合成,提取頭髮邊緣乾淨的演員進行VFX

電商產品照片,自動將商品放在乾淨的白色背景上

手機應用程式中的肖像模式和貼紙創建,將人們排除在社交分享之外

圖像摳圖的未來

Matting 正在朝著全自動、即時、無三圖操作的視訊方向發展——已經為視訊通話中的背景替換提供了動力。研究正在推動更高的分辨率、更好地處理玻璃和煙霧等複雜的透明度,以及與用於重新照明和無縫合成的生成模型更緊密的整合。期望摳圖與基於擴散的編輯管道合併,以便剪切主題並將其放入新的、照明一致的場景中成為消費設備上的一個自動化步驟。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加圖像抠圖測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是圖像抠圖?

影像摳圖是一門以像素完美、半透明邊緣從照片中剪切主題的藝術,捕捉每一縷頭髮或運動模糊。與簡單的分割不同,它估計每個像素有多少屬於前景。

影像摳圖中的 alpha 遮罩代表什麼?

Alpha 是每個像素的不透明度:1 是完整前景,0 是完整背景,分數捕捉軟或透明區域。

摳圖與二值分割有何根本差異?

分割提供硬性前景/背景標籤,而摳圖則恢復連續的 Alpha 值以獲得精細的半透明細節。

什麼是經典摳圖中的 trimap?

trimap 將影像劃分為已知前景、已知背景和必須求解 alpha 的未知波段。

MODNet 和 Robust Video Matting 等模型有什麼值得注意的地方?

這些較新的網路直接從肖像或影片中估計 alpha 遮罩,而不需要使用者提供的 trimap。

在深度摳圖中,哪一種損失通常與 alpha 預測誤差結合在一起?

合成損失使用預測的 alpha 重新合成前景和背景,並將結果與輸入進行比較,從而提高準確性。