无分类器指导
无分类器指导是一种使扩散模型真正遵循您的提示的技术，用一些多样性换取更强的依从性。
概述
It is the single dial behind the 'guidance scale' slider in nearly every image generator.
深入探讨
早期的引导扩散需要一个单独的分类器将样本推向所需的类别，这是脆弱的并且需要额外的训练。 Jonathan Ho 和 Tim Salimans 在 2022 年提出的无分类器指导消除了这种依赖性。在训练过程中，模型会在一定比例的时间内随机丢弃条件（文本提示），因此它学会使用单个网络生成条件和无条件预测。在采样时，您每步运行模型两次，一次有提示，一次没有提示，然后从无条件预测推断到条件预测。外推的量是指导尺度：较高的值会强制更严格的即时依从性和更强的饱和度，而较低的值会提供更多的多样性但更宽松的匹配。
技术洞察
从数学上讲，引导噪声预测是无条件预测加上引导尺度乘以条件预测和无条件预测之间的差异。 1 级表示没有指导；典型值为 5 到 9。将比例推得很高会放大提示特征，但会导致颜色过饱和、对比度刺眼和伪影，因为模型的推断远远超出了其学习的分布。每个去噪步骤大约需要两次前向传递。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
无分类器指导的未来
研究人员正在完善指导，通过动态阈值、跨步骤改变强度的指导计划以及重新调整技巧，以保持及时坚持而不会出现过度饱和。现在，精炼模型将指导烘焙到单次传递中，以将计算量减半，而更新的公式探索了根本不需要无条件分支的扰动注意力和自动指导，旨在以更低的成本获得清晰、忠实的图像。
现实世界的实施
调整“稳定扩散”或 Midjourney 中的“CFG 比例”滑块，以平衡提示准确性和创造力
提高指导以强制生成器包含提示中描述的特定的、难以渲染的对象
在探索许多设计选项时，降低指导以获得更多样、更少过饱和的输出
调整生产流程中的指导计划，以减少高细节渲染上的颜色烧伤伪影
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Classifier-Free Guidance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Classifier-Free Guidance?
无分类器指导是一种使扩散模型真正遵循您的提示的技术，用一些多样性换取更强的依从性。它是几乎每个图像生成器中“指导刻度”滑块后面的单个转盘。
无分类器指导的主要目的是什么？
无分类器指导通过从无条件预测到有条件预测来提高及时的依从性。
模型如何学习对无分类器指导进行无条件预测？
在训练过程中，提示有时会被随机删除，因此一个网络可以学习有条件和无条件的行为。
增加指导尺度一般有什么作用？
更高的引导力迫使更紧密的粘附和更强大的功能，但过度引导会导致图像过饱和、粗糙、容易出现伪影。
标准无分类器指导大约需要每个去噪步骤多少次前向传递？
该模型在有提示的情况下运行一次，然后在没有提示的情况下运行一次，然后组合预测，每步大约需要两次传递。
无分类器指导比分类器指导有什么优势？
通过使用单个网络进行两个预测，它避免了旧的引导扩散所需的脆弱的额外分类器。