深入探讨
潜在扩散模型使用预训练的自动编码器将图像映射到较低维的潜在空间，在该空间中运行扩散，并对结果进行解码。该论文增加了对文本或边界框等调节的交叉注意力。降噪器经过训练可以预测扩散步骤中的噪声。与报告的实验中的像素空间扩散相比，这减少了计算要求，但结果取决于自动编码器和模型设置。第一级自动编码器可以是变分的或矢量量化的，具体取决于系统。在引用的潜在扩散设置中，沿每个图像轴应用 8 倍空间缩减，并且分割图等空间条件可以与潜在输入连接起来。
现实世界的实施
在扩散过程之前将图像编码为潜在图像。
使用交叉注意力来条件生成文本。
将最终的潜在图像解码为图像。
比较指定分辨率和自动编码器的计算和保真度。
潜在扩散模型的未来
潜在扩散是生成方法中的一种设计选择。检查模型的训练分辨率、潜在表示和许可，而不是假设所有扩散系统都使用相同的管道。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是潜在扩散模型？
潜在扩散在压缩图像表示中而不是直接在像素空间中执行去噪过程。
与像素空间扩散相比，潜在扩散模型的主要创新是什么？
第一阶段自动编码器将图像映射到压缩的潜在表示；扩散对该表示进行操作，并且解码器将最终的潜在映射回像素。
在潜在扩散中，第一阶段自动编码器的作用是什么？
第一阶段自动编码器将图像数据压缩为扩散模型使用的潜在表示，并将采样的潜在表示解码回图像空间。
文本通常如何在潜在扩散中注入去噪 U-Net 中？
来自文本编码器的标记嵌入被输入交叉注意层，让空间特征关注提示。
为什么与像素空间扩散相比，潜在扩散模型中的去噪可以减少计算量？
潜在扩散将其去噪网络应用于压缩的潜在网格而不是全像素网格；自动编码器解码器仍然将最终潜在值转换回像素。
原始潜在扩散论文研究了哪些第一阶段自动编码器正则化变体？
潜在扩散论文研究了 KL 正则化和 VQ 正则化第一阶段自动编码器；确切的表示取决于所选的配置。