概述
这很重要，因为它可以在没有滑块、蒙版或文本提示的情况下进行精确、直观的图像操作。
深入探讨
来自 Max Planck 及其合作伙伴的 Pan、Tewari、Leimkuhler 及其同事 (SIGGRAPH 2023) 的 DragGAN 引入了对 GAN 生成的图像进行基于点的交互式编辑。用户在图像上放置一个或多个“手柄”点以及它们应该移动的相应“目标”点。然后，DragGAN 迭代地推动潜在代码，使每个手柄下的内容向其目标滑动，同时图像的其余部分保持连贯。您可以拉长动物的腿、让人微笑、旋转汽车或改变景观的轮廓，所有这些都可以通过拖动来实现。至关重要的是，编辑尊重学习到的图像流形，因此结果保持真实而不是涂抹像素。可选的掩模限制允许移动的区域，从而提供精细的局部控制。
现实世界的实施
通过拖动面部点来调整肖像的表情、注视方向或发型
改变动物或车辆的姿势和方向，例如旋转汽车或重新定位狮子的头
为设计模型重塑产品照片（拉长、加宽或重新放置对象）
通过拖动轮廓微调风景或时尚图像，例如改变山形或服装合身
DragGAN 交互式编辑的未来
DragGAN 引发了快速的后续工作，将基于拖动的控制引入扩散模型（例如 DragDiffusion 和 FreeDrag），这些模型比单独的 GAN 更稳健地处理真实照片和任意内容。预计拖动编辑将成为创意软件中的标准工具，与文本和区域控制相结合，并扩展到视频和 3D，以便用户可以跨帧放置对象或交互式地重塑网格，同时保持照片级真实感。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 DragGAN 交互式编辑？
DragGAN 让您可以通过直接拖动点来编辑图像：抓住一个点并将其拖动到目标，图片就会真实地变形，改变姿势、形状或表情。这很重要，因为它可以在没有滑块、蒙版或文本提示的情况下进行精确、直观的图像操作。
用户如何在 DragGAN 中编辑图像？
DragGAN 通过放置手柄点并将它们拖动到目标位置来编辑工作，从而使图像相应变形。
DragGAN 的两个交替核心步骤是什么？
DragGAN 交替运动监督（将特征移向目标）和点跟踪（重新定位手柄），迭代直至完成。
为什么 DragGAN 编辑看起来很真实而不是涂抹的？
由于操作发生在预训练 GAN 的潜在空间中，因此输出保留在真实图像的流形上。
DragGAN 中的可选 mask 控制什么？
遮罩允许用户将编辑限制在选定区域，以便图像的其余部分保持固定。
DragGAN 于 2023 年在哪个场馆亮相？
DragGAN 在领先的计算机图形会议 SIGGRAPH 2023 上发布。