概述
這很重要,因為它讓精確且直覺的圖像操作成為可能,無需滑桿、遮罩或文字提示。
深入探討
來自 Max Planck 及其合作夥伴的 Pan、Tewari、Leimkuhler 及其同事 (SIGGRAPH 2023) 的 DragGAN 引入了對 GAN 生成的圖像進行基於點的交互式編輯。使用者在影像上放置一個或多個「手柄」點以及它們應該移動的相應「目標」點。然後,DragGAN 迭代地推動潛在程式碼,使每個手柄下的內容向其目標滑動,同時影像的其餘部分保持連貫。您可以拉長動物的腿、讓人微笑、旋轉汽車或改變景觀的輪廓,所有這些都可以透過拖曳來實現。至關重要的是,編輯尊重學習到的圖像流形,因此結果保持真實而不是塗抹像素。可選的掩模限制允許移動的區域,從而提供精細的局部控制。
現實世界的實施
透過拖曳臉部點來調整肖像的表情、注視方向或髮型
改變動物或車輛的姿勢和方向,例如旋轉汽車或重新定位獅子的頭
為設計模型重塑產品照片(拉長、加寬或重新放置物件)
透過拖曳輪廓微調風景或時尚圖像,例如改變山形或服裝合身
DragGAN 互動式編輯的未來
DragGAN 引發了快速的後續工作,將基於拖曳的控制引入擴散模型(例如 DragDiffusion 和 FreeDrag),這些模型比單獨的 GAN 更穩健地處理真實照片和任意內容。預計拖曳編輯將成為創意軟體中的標準工具,與文字和區域控制相結合,並擴展到影片和 3D,以便用戶可以跨幀放置物件或互動式地重塑網格,同時保持照片級真實感。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 DragGAN 互動編輯?
DragGAN 讓您可以透過直接拖曳點來編輯圖像:抓住一個點並將其拖曳到目標,圖片就會真實變形,改變姿勢、形狀或表情。這很重要,因為它可以在沒有滑桿、蒙版或文字提示的情況下進行精確、直觀的圖像操作。
用戶如何在 DragGAN 中編輯圖像?
DragGAN 透過放置手柄點並將它們拖曳到目標位置來編輯工作,從而使影像相應變形。
DragGAN 的兩個交替核心步驟是什麼?
DragGAN 交替運動監督(將特徵移向目標)和點追蹤(重新定位手柄),迭代直至完成。
為什麼 DragGAN 編輯看起來很真實而不是塗抹的?
由於操作發生在預訓練 GAN 的潛在空間中,因此輸出保留在真實影像的流形上。
DragGAN 中的可選 mask 控制什麼?
遮罩允許使用者將編輯限制在選定區域,以便影像的其餘部分保持固定。
DragGAN 於 2023 年在哪個場館亮相?
DragGAN 在領先的電腦圖形會議 SIGGRAPH 2023 上發布。