一致性模型
一致性模型是生成模型，它学会在一个步骤（或几个步骤）中从噪声跳转到干净的图像，而不是扩散所需的数十个步骤。
概述
They matter because they make high-quality image generation fast enough for real-time and interactive use.
深入探讨
一致性模型由 OpenAI 研究人员于 2023 年推出，解决了扩散的最大弱点：缓慢的迭代采样。扩散模型定义了从噪声到数据的路径（ODE 轨迹）并逐步行走。训练一致性模型，以便沿同一轨迹的任何点都映射到相同的干净端点，这种属性称为自一致性。由于最终图像上的每个噪声点都“一致”，因此您可以在一次网络评估中从纯噪声直接跳转到样本，或者采取一些步骤以速度换取质量。它们可以通过蒸馏预训练的扩散模型（一致性蒸馏）或从头开始（一致性训练）来进行训练。潜在一致性模型将其应用于潜在空间，从而实现近乎即时的稳定扩散图像生成。
技术洞察
定义约束是一致性函数 f(x_t, t)：对于沿着相同噪声到数据轨迹的任意两次，f 必须输出相同的干净样本，边界条件是 f 在时间为零时是同一的。训练通过将模型在噪声点的输出推至噪声稍低的相邻点的输出来强制执行此操作，通常使用更新为指数移动平均值的目标网络以保持稳定性。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
一致性模型的未来
一致性模型正在推动向实时生成人工智能的转变，一到四步采样现在在快速图像工具和实时创意应用程序中很常见。预计它们将扩展到实时视频、交互式编辑和设备上生成，每一毫秒都很重要。研究正在提高单步质量，使其与多步扩散相媲美，并将一致性思想与流量匹配和蒸馏相结合，以在统一、可控的模型中获得最佳的速度和保真度。
现实世界的实施
潜在一致性模型可以为交互式设计工具生成近乎即时的稳定扩散图像
实时 AI 绘图画布，可在用户草图或打字时实时更新渲染图像
将缓慢的预训练扩散模型提炼为快速的几步生成器，无需从头开始重新训练
在多步扩散太慢的移动和网络应用程序中支持响应式、低延迟的图像功能
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Consistency Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Consistency Models?
一致性模型是生成模型，它学会在一个步骤（或几个步骤）中从噪声跳转到干净的图像，而不是扩散所需的数十个步骤。它们很重要，因为它们可以足够快地生成高质量图像，以供实时和交互式使用。
一致性模型解决了扩散模型的哪些核心问题？
标准扩散沿着噪声到数据的轨迹一步步走，使得生成速度变慢；一致性模型旨在通过一个或几个步骤来完成这一任务。
这些模型经过训练要满足什么“自我一致性”属性？
自我一致性意味着轨迹上的任何噪声点都映射到相同的最终干净样本，从而可以直接跳转到结果。
一致性函数在零时刻必须满足什么边界条件？
在零时间，数据已经是干净的，因此一致性函数将其映射到自身，即锚定训练的身份条件。
如何从现有的扩散模型创建一致性模型？
一致性蒸馏训练新模型来重现扩散 ODE 的端点，从而产生快速的几步采样器，而无需从头开始训练。
什么技术通过提供学习目标来稳定一致性训练？
EMA 目标网络在相邻（噪音较小）点提供稳定的目标，防止训练崩溃。