概述
这是通向 DALL-E 2 的关键垫脚石。
深入探讨
Released by OpenAI in late 2021, GLIDE (Guided Language to Image Diffusion for Generation and Editing) demonstrated that diffusion models guided by text could produce photorealistic, prompt-faithful images. Its biggest contribution was comparing two ways to steer generation: CLIP guidance versus classifier-free guidance. The team found classifier-free guidance produced more realistic and better-aligned images, a result that shaped nearly every text-to-image model since. GLIDE also supported text-driven inpainting, letting users edit part of an image with a new prompt. It used a 3.5-billion-parameter diffusion model plus an upsampler. OpenAI released a smaller, filtered version publicly while withholding the full model over misuse concerns, and the DALL-E 2 research paper describes an unCLIP decoder that modifies the GLIDE architecture to accept CLIP-image conditioning.
现实世界的实施
从句子（例如所描述的场景）生成图像，展示早期快速忠实的合成
文本驱动的修复：遮盖照片的一部分并用文字描述的新对象填充它
通过后续提示添加或替换元素来编辑现有图像
作为研究基线，证明无分类器指导在对齐方面优于 CLIP 指导
GLIDE 扩散模型的未来
GLIDE 本身在很大程度上是历史性的，被 DALL-E 2、Imagen 和 Stable Diffusion 所取代，但它的思想仍然存在。无分类器指导仍然是权衡保真度和多样性的默认旋钮，文本驱动的修复现在已成为标准。未来的系统将不断完善引导时间表，减少强引导原因造成的伪影，并将相同的原理扩展到视频和 3D 扩散，因此 GLIDE 的影响力比模型更长久。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 GLIDE 扩散模型？
GLIDE 是一种早期的 OpenAI 文本到图像扩散模型，它显示提示加上“无分类器指导”，可以击败早期基于 GAN 的系统。这是通往 DALL-E 2 道路上的关键垫脚石。
GLIDE 发现哪种引导方法可以生成更好、更迅速、更忠实的图像？
GLIDE 表明，与 CLIP 指导相比，无分类器指导提供了更真实、更一致的结果。
What size did the published full GLIDE base diffusion model have, before counting its upsampler?
The full research model used a 3.5-billion-parameter base diffusion model with a separate upsampling stage.
训练期间无分类器指导如何工作？
通过对真实提示和空提示进行训练，模型学习条件生成和无条件生成，然后在采样时在它们之间进行推断。
Which later system describes its diffusion decoder as modifying the GLIDE architecture in the DALL-E 2 research paper?
The paper describes adding CLIP-image conditioning to a modified GLIDE architecture for its unCLIP decoder; this is a concrete architectural relationship.
为什么 OpenAI 只公开发布一个较小的、经过过滤的 GLIDE 版本？
OpenAI 因滥用问题而保留了完整模型，并发布了经过过滤的较小变体。