概述
它为配对图像到图像翻译任务建立了通用方法。
深入探讨
Pix2Pix 由 Isola 及其同事于 2017 年推出，将翻译视为条件生成：输入图像本身就是条件。它的生成器是一个 U-Net，一个具有跳跃连接的编码器-解码器，可以直接从输入到输出携带低级细节，例如边缘。鉴别器是一个 PatchGAN，它判断局部小块而不是整个图像的真实感，从而锐化纹理。训练结合了对抗性损失和 L1（像素差异）损失，因此输出既真实又忠实于目标。问题是 Pix2Pix 需要成对的训练数据，这意味着匹配的输入输出示例，这启发了像 CycleGAN 这样的后续产品，它们从不成对的集合中学习。
现实世界的实施
将手绘边缘草图转换为逼真的物体，例如手袋或鞋子
将语义标签图转化为现实的街道场景以进行设计和模拟
自动为黑白照片着色
将航空地图图块转换为卫星图像并返回
Pix2Pix 图像到图像翻译的未来
Pix2Pix 证明了一种架构可以处理许多翻译问题，并且这个想法一直存在。这一血统贯穿于 CycleGAN 的非配对学习、pix2pixHD 等更高分辨率的后继者，以及当今基于边缘、深度或分割图的基于扩散和 ControlNet 的方法。随着模型获得更强的先验，配对数据要求放松，翻译变得更高保真度和更可控，但 Pix2Pix 仍然是配对任务的清晰、轻量级基线。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 Pix2Pix 图像到图像转换？
Pix2Pix 是一种条件 GAN，它学习将一种类型的图像转换为另一种类型的图像，例如将草图转换为照片或将地图转换为卫星视图。它为配对图像到图像翻译任务建立了通用方法。
Pix2Pix 需要什么样的训练数据？
Pix2Pix 需要匹配对（例如，草图及其相应的照片），这就是为什么后来为不配对数据创建了 CycleGAN。
Pix2Pix 使用什么生成器架构？
Pix2Pix 使用 U-Net 编码器-解码器，其跳跃连接将低级细节直接从输入传递到输出。
Pix2Pix 中的 PatchGAN 判别器评估什么？
PatchGAN 逐个判断补丁的真实性，这鼓励更清晰、更局部一致的纹理。
为什么 Pix2Pix 在对抗性损失的同时添加 L1 损失？
The paired L1 term anchors pixelwise or low-frequency correctness; the PatchGAN adversarial objective encourages realistic high-frequency texture.
为什么 U-Net 跳过连接对翻译任务特别有帮助？
输入和输出通常共享布局和边缘，因此跳过连接可以传递该细节，而不是将其挤压通过瓶颈。