概述
这种结构支持对不同尺度视觉变化的控制，尽管语义因素并非完全独立。
深入探讨
StyleGAN，由 Karras 等人提出。 2018年，围绕“风格”的理念重新设计了GAN生成器。它不是直接将随机向量输入网络，而是首先通过 8 层 MLP 将潜在代码 z 映射到中间空间 W，从而解开变化因素。然后，对学习到的常量张量进行逐步上采样，并且在每个分辨率下，样式向量通过自适应实例归一化 (AdaIN) 调制特征图，控制从姿势（粗略层）到皮肤纹理（精细层）的属性。每层噪声输入添加随机细节，例如雀斑和杂散毛发。 StyleGAN2 (2020) 用权重解调取代了 AdaIN，以消除“斑点”伪影，StyleGAN3 (2021) 修复了纹理粘贴锯齿，使特征在动画过程中自然移动。
现实世界的实施
生成无数逼真的、不存在的人脸，如 thispersondoesnotexist.com 所展示的那样。
语义脸部编辑：通过沿着 W 空间中的方向移动来平滑地改变年龄、表情或姿势。
当真实的、隐私安全的图像稀缺时，创建合成训练数据和头像。
在图像之间进行插值或“风格混合”以混合粗糙结构和精细细节的艺术工具。
StyleGAN 架构的未来
基于风格的生成器支持图像编辑、潜在反转和高效合成方面的研究。EG3D 将 StyleGAN2 风格的特征生成器与神经渲染相结合，用于 3D 感知生成。这些方法需要根据预期领域和编辑进行评估：有用的潜在方向或逼真的输出并不能保证完全控制、精确的身份保留或隐私安全的合成数据。运行时优势也取决于实现和比较工作负载。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 StyleGAN 架构？
StyleGAN 是一种基于风格的 GAN 生成器，它将潜在代码映射到中间表示，并在多个合成层应用风格。这种结构支持对不同尺度视觉变化的控制，尽管语义因素并非完全独立。
StyleGAN 的映射网络的目的是什么？
8 层 MLP 将 z 映射到 W，这是一个中间潜在空间，其中变化因素可以更好地分离，从而实现更清晰的控制。
在原始 StyleGAN 中，样式如何注入到特征图中？
AdaIN 对特征图进行标准化，然后在每个分辨率下使用风格导出的统计数据来缩放和移动它们。
合成网络从什么而不是潜在向量开始？
StyleGAN 从学习的常量输入开始，并在上采样时注入样式和噪声，而不是直接输入 z。
在粗略（低分辨率）图层上调整样式主要控制什么？
粗略层控制大型结构，例如姿势和整体形状，而精细层处理纹理和微观细节。
StyleGAN2 相对于原始版本修复了哪些问题？
StyleGAN2 通过权重解调取代了 AdaIN，消除了液滴/斑点伪影并提高了图像质量。