DragGAN 互動式編輯
DragGAN 讓您可以透過直接拖曳點來編輯圖像：抓住一個點並將其拖曳到目標，圖片就會真實變形，改變姿勢、形狀或表情。
概述
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
深入探討
來自 Max Planck 及其合作夥伴的 Pan、Tewari、Leimkuhler 及其同事 (SIGGRAPH 2023) 的 DragGAN 引入了對 GAN 生成的圖像進行基於點的交互式編輯。使用者在影像上放置一個或多個「手柄」點以及它們應該移動的相應「目標」點。然後，DragGAN 迭代地推動潛在程式碼，使每個手柄下的內容向其目標滑動，同時影像的其餘部分保持連貫。您可以拉長動物的腿、讓人微笑、旋轉汽車或改變景觀的輪廓，所有這些都可以透過拖曳來實現。至關重要的是，編輯尊重學習到的圖像流形，因此結果保持真實而不是塗抹像素。可選的掩模限制允許移動的區域，從而提供精細的局部控制。
技術洞察
DragGAN 在預先訓練的 GAN 的潛在空間和特徵空間中工作。它使用兩個交替步驟：運動監督（移動潛在代碼，使每個手柄附近的特徵向目標方向移動）和點跟踪（使用特徵圖中的最近鄰搜索重新定位手柄以跟隨其錨定的特徵）。重複這些步驟使影像沿著 GAN 流形移動，產生平滑、真實的變形。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
DragGAN 互動式編輯的未來
DragGAN 引發了快速的後續工作，將基於拖曳的控制引入擴散模型（例如 DragDiffusion 和 FreeDrag），這些模型比單獨的 GAN 更穩健地處理真實照片和任意內容。預計拖曳編輯將成為創意軟體中的標準工具，與文字和區域控制相結合，並擴展到影片和 3D，以便用戶可以跨幀放置物件或互動式地重塑網格，同時保持照片級真實感。
現實世界的實施
透過拖曳臉部點來調整肖像的表情、注視方向或髮型
改變動物或車輛的姿勢和方向，例如旋轉汽車或重新定位獅子的頭
為設計模型重塑產品照片（拉長、加寬或重新放置物件）
透過拖曳輪廓微調風景或時尚圖像，例如改變山形或服裝合身
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is DragGAN Interactive Editing?
DragGAN 讓您可以透過直接拖曳點來編輯圖像：抓住一個點並將其拖曳到目標，圖片就會真實變形，改變姿勢、形狀或表情。這很重要，因為它可以在沒有滑桿、蒙版或文字提示的情況下進行精確、直觀的圖像操作。
用戶如何在 DragGAN 中編輯圖像？
DragGAN 透過放置手柄點並將它們拖曳到目標位置來編輯工作，從而使影像相應變形。
DragGAN 的兩個交替核心步驟是什麼？
DragGAN 交替運動監督（將特徵移向目標）和點追蹤（重新定位手柄），迭代直至完成。
為什麼 DragGAN 編輯看起來很真實而不是塗抹的？
由於操作發生在預訓練 GAN 的潛在空間中，因此輸出保留在真實影像的流形上。
DragGAN 中的可選 mask 控制什麼？
遮罩允許使用者將編輯限制在選定區域，以便影像的其餘部分保持固定。
DragGAN 於 2023 年在哪個場館亮相？
DragGAN 在領先的電腦圖形會議 SIGGRAPH 2023 上發布。