概述
这使您可以控制网络产生的内容，而不是获得随机输出。
深入探讨
标准 GAN 将随机噪声转化为图像，但你对结果没有发言权。 Mirza 和 Osindero 在 2014 年提出的条件 GAN 通过在标签 y 上调节生成来解决这个问题。两个网络都接收 y：生成器将噪声与标签结合起来生成匹配图像，而鉴别器则判断图像是否真实且与其标签一致。在带有数字标签的 MNIST 上对其进行训练，您可以专门要求输入“7”。调节信号可以是单热类向量、嵌入、属性集，甚至是另一幅图像。这种引导生成的想法是使文本到图像和图像到图像系统成为可能的基础。
现实世界的实施
按需生成特定的手写数字或对象类，而不是随机的
使用年龄、发型、眼镜或表情等选定属性合成面孔
为早期的文本到图像管道提供支持，其中标题决定生成的图片
创建类别平衡的合成数据以增强训练集中代表性不足的类别
条件 GAN 的未来
条件生成现在是默认的期望：用户想要指定他们得到什么。标签调节的思想通过稳定扩散等扩散模型中的交叉注意力推广到富文本调节，并推广到使用边缘、深度或姿势的 ControlNet 风格的空间调节。未来的系统将接受更加灵活和多模式的条件，混合文本、草图、音频和 3D 约束，同时提高输出对指令每个部分的忠实程度。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是条件 GAN？
条件 GAN (cGAN) 通过向生成器和判别器提供额外信息（例如类标签或文本）来扩展普通 GAN。这使您可以控制网络产生的内容，而不是获得随机输出。
条件 GAN 和标准 GAN 之间的主要区别是什么？
条件 GAN 向生成器和鉴别器添加条件信号（例如标签），以便您可以指定生成的内容。
在使用标记数字进行训练的 cGAN 中，有什么是普通 GAN 无法做到的？
由于生成以标签为条件，因此您可以向生成器询问特定的类，而不是随机输出。
除了图像看起来是否真实之外，cGAN 判别器还必须检查什么？
鉴别器会惩罚与条件不匹配的逼真图像，迫使生成器尊重标签。
向发生器提供调节信号的常用方法是什么？
一种简单且常见的方法将标签（通常是单热标签或嵌入标签）连接到生成器的噪声向量。
条件 GAN 为后来的能力奠定了基础？
通过条件引导生成正是文本到图像和图像到图像系统所依赖的。