視覺人工智慧指南

修復和修復

修復填滿或替換影像內的遮罩區域,而修復則將影像延伸到其原始邊界之外。

閱讀時間約2分鐘最後更新

概述

兩者結合起來,讓你能透過生成式 AI 無縫地刪除物件、修正缺陷並擴展場景。

深入探討

修復和修復是遮罩區域影像編輯任務。透過修復,您可以在照片的一部分上繪製遮罩(例如,不受歡迎的遊客或刮痕),模型僅重新生成該區域以匹配周圍的內容。外塗則相反:它將原始框架「外部」的區域視為要填充的區域,創造出合理的新風景,使肖像變成完整的風景。擴散模型在這裡表現出色,因為它們通過去雜訊生成,並且可以進行調節以在合成屏蔽像素時保持未屏蔽像素固定,可以選擇透過文字提示進行引導。結果混合了燈光、紋理和透視,因此編輯看起來很自然。這些工具為手機上的「魔術橡皮擦」和專業編輯器中的「生成擴充」等日常功能提供支援。

技術洞察

在基於擴散的修復中,遮蔽區域從雜訊開始並逐漸去噪,而在每一步中,已知(未遮蔽)像素都會重新註入,因此模型僅在遮罩內部「繪畫」。文字提示可以引導出現的內容。外畫透過擴展畫布、掩蓋新的空白邊框以及對現有邊緣內容進行調節來重用相同的機制,以便顏色、燈光和透視自然地繼續超出原始框架。

戰略影響

速度與規模

視覺人工智慧可以大規模自動化檢查、檢測和標記任務。

配裝選擇

創意團隊可以透過更少的手動修改來更快地建立概念原型。

團隊與工作流程

操作可以使用以前難以處理的影像和視訊訊號。

修復和修復的未來

編輯變得越來越快、解析度越來越高且更加可控。期望提示驅動的編輯(“移除汽車,添加長凳”)成為可靠的一鍵操作,並更好地保留精細紋理、反射和陰影。 Outpainting 會定期為不同的螢幕重新建構和重新調整照片和影片畫面的縱橫比。同樣的技術正在進入影片領域——一致地跨幀刪除或擴展內容——提高了創造性的可能性,也提高了對無法檢測的照片處理和出處標籤的需求的擔憂。

現實世界的實施

從度假照片中刪除照片轟炸機,使背景自然填充。

透過在側面產生新的風景,將垂直肖像擴展為寬幅橫幅。

從產品照片中去除電線、瑕疵或徽標,以獲得乾淨的目錄圖像。

透過重建遺失或損壞的區域來恢復舊的或撕裂的照片。

風險與防護欄

如果出處不明,肖像權和同意可能會成為法律風險。

模型表現可能因光照、人口統計和環境的不同而有所不同。

除非監控置信閾值,否則誤報可能會被忽略。

實施路線圖

1

定義精確度、召回率和錯誤成本的接受標準。

2

使用符合實際生產條件的數據進行測試。

3

為低置信度或高影響力的預測添加人工審核。

4

追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Inpainting and Outpainting quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

開始測驗

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

下一步指南

LaMa 解析度-穩健修復

常見問題

什麼是補漆與補漆?

修復填滿或替換影像內的遮罩區域,而修復則將影像延伸到其原始邊界之外。它們一起讓您可以使用生成式 AI 來擦除物件、修復缺陷並無縫擴展場景。

補漆有什麼作用?

修復會填滿或取代現有影像內的選定區域以符合其周圍環境。

外畫有什麼作用?

外畫延伸了畫布,在原始框架之外創造了合理的風景。

在基於擴散的修復中,在生成過程中未屏蔽的像素會發生什麼?

在每個去噪步驟中都會重新註入已知像素,因此模型僅合成掩模區域。

哪種日常手機功能屬於修復形式?

「魔術橡皮擦」工具可刪除物件並修補背景以填補空白。

是什麼引導出現在屏蔽區域的內容?

模型以相鄰像素和可選文字提示為條件來決定要產生什麼。