DragGAN 交互式编辑
DragGAN 让您可以通过直接拖动点来编辑图像：抓住一个点并将其拖动到目标，图片就会真实地变形，改变姿势、形状或表情。
概述
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
深入探讨
来自 Max Planck 及其合作伙伴的 Pan、Tewari、Leimkuhler 及其同事 (SIGGRAPH 2023) 的 DragGAN 引入了对 GAN 生成的图像进行基于点的交互式编辑。用户在图像上放置一个或多个“手柄”点以及它们应该移动的相应“目标”点。然后，DragGAN 迭代地推动潜在代码，使每个手柄下的内容向其目标滑动，同时图像的其余部分保持连贯。您可以拉长动物的腿、让人微笑、旋转汽车或改变景观的轮廓，所有这些都可以通过拖动来实现。至关重要的是，编辑尊重学习到的图像流形，因此结果保持真实而不是涂抹像素。可选的掩模限制允许移动的区域，从而提供精细的局部控制。
技术洞察
DragGAN 在预训练的 GAN 的潜在空间和特征空间中工作。它使用两个交替步骤：运动监督（移动潜在代码，使每个手柄附近的特征向目标方向移动）和点跟踪（使用特征图中的最近邻搜索重新定位手柄以跟随其锚定的特征）。重复这些步骤使图像沿着 GAN 流形移动，产生平滑、真实的变形。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
DragGAN 交互式编辑的未来
DragGAN 引发了快速的后续工作，将基于拖动的控制引入扩散模型（例如 DragDiffusion 和 FreeDrag），这些模型比单独的 GAN 更稳健地处理真实照片和任意内容。预计拖动编辑将成为创意软件中的标准工具，与文本和区域控制相结合，并扩展到视频和 3D，以便用户可以跨帧放置对象或交互式地重塑网格，同时保持照片级真实感。
现实世界的实施
通过拖动面部点来调整肖像的表情、注视方向或发型
改变动物或车辆的姿势和方向，例如旋转汽车或重新定位狮子的头
为设计模型重塑产品照片（拉长、加宽或重新放置对象）
通过拖动轮廓微调风景或时尚图像，例如改变山形或服装合身
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is DragGAN Interactive Editing?
DragGAN 让您可以通过直接拖动点来编辑图像：抓住一个点并将其拖动到目标，图片就会真实地变形，改变姿势、形状或表情。这很重要，因为它可以在没有滑块、蒙版或文本提示的情况下进行精确、直观的图像操作。
用户如何在 DragGAN 中编辑图像？
DragGAN 通过放置手柄点并将它们拖动到目标位置来编辑工作，从而使图像相应变形。
DragGAN 的两个交替核心步骤是什么？
DragGAN 交替运动监督（将特征移向目标）和点跟踪（重新定位手柄），迭代直至完成。
为什么 DragGAN 编辑看起来很真实而不是涂抹的？
由于操作发生在预训练 GAN 的潜在空间中，因此输出保留在真实图像的流形上。
DragGAN 中的可选 mask 控制什么？
遮罩允许用户将编辑限制在选定区域，以便图像的其余部分保持固定。
DragGAN 于 2023 年在哪个场馆亮相？
DragGAN 在领先的计算机图形会议 SIGGRAPH 2023 上发布。