概述
IC-Light 等工具使用擴散模型來重新渲染陰影和高光。這對於產品攝影、肖像編輯和合成很重要,其中不匹配的光線是偽造或貼上影像的最明顯跡象之一。
深入探討
您在照片中看到的內容大致是表面的情況(其基色或反照率、形狀和材質)與落在其上的光線相結合的結果。重新照明意味著改變光線,同時保留其他一切。這很難,因為一張照片將這些因素混合在一起。經典的和早期學習的方法試圖明確地分離這些因素。固有影像分解將影像分為反照率和陰影。其他模型估計表面法線和深度,然後使用環境貼圖或低階球諧函數描述的新光線重新著色場景。肖像重新照明研究,例如 Google 的 Total Relighting (2021),使用來自光舞台的資料進行訓練,這些舞台是可控燈光的圓頂,可以在多種照明條件下記錄一個人。這些方法可能很精確,但在訓練資料之外卻很困難,例如頭髮、玻璃或複雜的場景。基於擴散的重新照明採用不同的方法:產生模型在請求的照明下重新渲染影像。 IC-Light(強加一致光)由 ControlNet 的開發者 Lvmin 張於 2024 年發布。它有多種版本,以燈光的文字描述或新的背景圖像為條件。其關鍵訓練理念是一致的光傳輸。在物理學中,物體在兩種燈光混合下的外觀等於其單獨在每種燈光下的外觀混合。在訓練期間強制執行此操作有助於模型改變照明而不改變物件的身份或細節。有兩種常見的誤解。首先,重新照明不是濾色:濾色器無法移動陰影或在面向新光源的一側添加高光。其次,該模型無法恢復真實的 3D 幾何形狀。它會產生合理的陰影,但在文字、精細圖案和反光錶面上,或當所需的照明在物理上不一致時,可能會失敗。結果也可能微妙地改變皮膚紋理等細節,因此請仔細檢查輸出。
現實世界的實施
一家線上商店在普通工作室燈光下拍攝產品,然後重新照亮每件產品以匹配生活方式背景,使陰影和高光看起來一致。
肖像編輯器使用文字提示(例如帶有 IC-Light 的“左側視窗的陽光”)將來自左側的溫暖窗戶光線添加到平光爆頭照片中。
合成師從一張照片中剪出一個人,並將其放置在霓虹燈照亮的街道上。他們使用背景調節的重新照明模型,以便人們可以拾取場景的彩色光。
準備分鏡的電影製作人在拍攝前的同一地點照片上嘗試了一天中不同時間段的幾種情緒,從黃金時段到陰天。
AI 影像重新照明的未來
重新照明正在從單一影像擴展到視訊和 3D,其中照明必須在幀和視點之間保持一致。研究將生成模型與幾何和材料的明確估計相結合,為使用者提供更多的物理控制,例如將燈放置在特定位置。重新照明也會影響影像的真實性。長期以來,不一致的陰影一直是識別合成材料的線索,因此更好的重新照明使假貨更難檢測,這加強了內容憑證等來源工具的應用。對於日常用戶來說,近期最可能發生的變化是普通照片編輯器中變得更加常見的重新點亮功能。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是AI影像重新照明?
AI 影像重新照明會改變現有照片的照明,例如移動光源、更改其顏色或匹配新背景,同時保持主體的身份和形狀。 IC-Light 等工具使用擴散模型來重新渲染陰影和高光。這對於產品攝影、肖像編輯和合成很重要,其中不匹配的光線是偽造或貼上影像的最明顯跡象之一。
影像重新照明旨在改變什麼?
重新照明仅改变光线,同时保留表面的内容,包括其基色、形状和材质。
本徵影像分解分離什麼?
它将图像分为反照率(表面的基色)和阴影(光在该表面上的效果)。
人像重新照明研究中光级的用途是什么?
灯光舞台是可控灯光的圆顶,可以捕捉人在多种照明设置下的外观,为 Total Relighting 等方法提供训练数据。
IC-Light 的訓練遵循什麼物理原理?
这种光传输的一致性有助于模型在不改变对象的身份或细节的情况下改变照明。
为什么彩色滤光片不是真正的重照明?
濾鏡調整整個影像的色調。真正的重新照明会根据光线的方向改变阴影和高光的下降。