控制网
ControlNet 是一个附加组件，可为图像生成模型提供精确的结构控制，让您可以通过边缘、姿势、深度图或涂鸦来控制输出。
概述
It turns text-to-image from a slot machine into a controllable design tool.
深入探讨
ControlNet 由 Lvmin 张 及其同事于 2023 年推出，它附加到像稳定扩散这样的预训练扩散模型，而无需重新训练整个模型。它将扩散 U-Net 的编码器块克隆为可训练的副本，然后通过零初始化卷积层（零卷积）将该副本连接回冻结的原始数据。这些零转换一开始没有效果，因此训练从原始模型的行为开始，并逐渐学习注入调节。调节是空间图：Canny 边缘图像、OpenPose 骨架、深度图、分割掩模或粗略草图。结果是生成的图像遵循控制图的结构，而文本提示设置样式和内容，为艺术家提供可靠、可重复的布局。
技术洞察
定义的技巧是零卷积。由于连接层的权重初始化为零，ControlNet 分支最初不添加任何内容，因此模型与训练开始时的原始模型相同。这可以防止新层注入的有害噪声，并使微调即使在小数据集上也能保持稳定。梯度流入零转换并逐渐打开调节路径，安全地学习结构控制。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
ControlNet 的未来
ControlNet 风格的调节正在成为创意工具中的标准基础设施，具有多条件堆叠（组合姿势加深度加边缘）和更轻的适配器（如 T2I-Adapter 和 IP-Adapter）。期望更紧密地集成到视频扩散中，以实现一致的运动控制、实时交互式编辑以及同时接受多种控制类型的统一模型，从而模糊草图和最终渲染之间的界限。
现实世界的实施
使用 OpenPose 骨架锁定角色的准确姿势，同时通过提示更换服装和背景
使用 Canny 边缘贴图重新设计建筑照片，同时保留其精确的建筑线条
将粗糙的手绘涂鸦变成概念艺术和故事板的精美插图
应用深度图，以便生成的场景尊重产品渲染和室内设计模型的 3D 布局
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ControlNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is ControlNet?
ControlNet 是一个附加组件，可为图像生成模型提供精确的结构控制，让您可以通过边缘、姿势、深度图或涂鸦来控制输出。它将文本到图像从老虎机变成了可控的设计工具。
ControlNet 图像生成主要解决什么问题？
ControlNet 让用户可以利用边缘、姿态或深度等空间条件来引导输出，从而使生成变得可控而不是随机。
ControlNet 中“零卷积”层的作用是什么？
零初始化卷积最初没有任何贡献，因此模型与原始模型匹配并逐渐稳定地学习调节。
其中哪一个是有效的 ControlNet 调节输入？
ControlNet 使用姿势骨架、深度图、Canny 边缘和分割掩模等空间图作为结构指导。
ControlNet 与稳定扩散等基本扩散模型有何关系？
ControlNet 克隆并训练编码器的副本，同时保持原始 U-Net 冻结，保留其学到的知识。
在 ControlNet 工作流程中，当控制图设置结构时，通常由什么设置样式和内容？
文本提示控制风格和主题，而控制图则强制空间布局。