視覺人工智慧指南

DragGAN 互動式編輯

DragGAN 讓您可以透過直接拖曳點來編輯圖像:抓住一個點並將其拖曳到目標,圖片就會真實變形,改變姿勢、形狀或表情。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. DragGAN 互動式編輯的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這很重要,因為它讓精確且直覺的圖像操作成為可能,無需滑桿、遮罩或文字提示。

深入探討

來自 Max Planck 及其合作夥伴的 Pan、Tewari、Leimkuhler 及其同事 (SIGGRAPH 2023) 的 DragGAN 引入了對 GAN 生成的圖像進行基於點的交互式編輯。使用者在影像上放置一個或多個「手柄」點以及它們應該移動的相應「目標」點。然後,DragGAN 迭代地推動潛在程式碼,使每個手柄下的內容向其目標滑動,同時影像的其餘部分保持連貫。您可以拉長動物的腿、讓人微笑、旋轉汽車或改變景觀的輪廓,所有這些都可以透過拖曳來實現。至關重要的是,編輯尊重學習到的圖像流形,因此結果保持真實而不是塗抹像素。可選的掩模限制允許移動的區域,從而提供精細的局部控制。

現實世界的實施

透過拖曳臉部點來調整肖像的表情、注視方向或髮型

改變動物或車輛的姿勢和方向,例如旋轉汽車或重新定位獅子的頭

為設計模型重塑產品照片(拉長、加寬或重新放置物件)

透過拖曳輪廓微調風景或時尚圖像,例如改變山形或服裝合身

DragGAN 互動式編輯的未來

DragGAN 引發了快速的後續工作,將基於拖曳的控制引入擴散模型(例如 DragDiffusion 和 FreeDrag),這些模型比單獨的 GAN 更穩健地處理真實照片和任意內容。預計拖曳編輯將成為創意軟體中的標準工具,與文字和區域控制相結合,並擴展到影片和 3D,以便用戶可以跨幀放置物件或互動式地重塑網格,同時保持照片級真實感。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 DragGAN 互動編輯測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 DragGAN 互動編輯?

DragGAN 讓您可以透過直接拖曳點來編輯圖像:抓住一個點並將其拖曳到目標,圖片就會真實變形,改變姿勢、形狀或表情。這很重要,因為它可以在沒有滑桿、蒙版或文字提示的情況下進行精確、直觀的圖像操作。

用戶如何在 DragGAN 中編輯圖像?

DragGAN 透過放置手柄點並將它們拖曳到目標位置來編輯工作,從而使影像相應變形。

DragGAN 的兩個交替核心步驟是什麼?

DragGAN 交替運動監督(將特徵移向目標)和點追蹤(重新定位手柄),迭代直至完成。

為什麼 DragGAN 編輯看起來很真實而不是塗抹的?

由於操作發生在預訓練 GAN 的潛在空間中,因此輸出保留在真實影像的流形上。

DragGAN 中的可選 mask 控制什麼?

遮罩允許使用者將編輯限制在選定區域,以便影像的其餘部分保持固定。

DragGAN 於 2023 年在哪個場館亮相?

DragGAN 在領先的電腦圖形會議 SIGGRAPH 2023 上發布。