概述
这种顺序过程与掩码并行解码不同。
深入探讨
PixelRNN/PixelCNN 对有序光栅序列中的像素条件分布进行建模。最初的 DALL·E 工作则使用离散 VAE 将图像表示为标记，并在文本和图像标记上训练自回归 Transformer；其论文报告了一个包含 2.5 亿个图像-文本对的数据集。此类模型按顺序采样标记。MaskGIT 使用不同的掩码标记迭代解码方法来并行预测多个标记。
现实世界的实施
PixelCNN 和 PixelRNN 在其发表的图像生成研究中以自回归方式对图像像素进行建模。
最初的 DALL·E 论文在序列建模之前使用离散变分自编码器对图像进行标记化。
因果注意力掩码可防止 Transformer 解码器在自回归预测期间使用未来的图像标记。
MaskGIT 是一种单独的掩码标记方法，它迭代地并行预测多个图像标记。
自回归图像生成的未来
使用匹配的图像质量、计算和采样条件来比较自回归和并行掩码图像方法。评估目标领域上的提示对齐和伪影。所引用的论文建立了各自的架构和实验，而不是通用的赢家或未来的部署趋势。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是自回归图像生成？
自回归图像模型一次生成一个视觉标记序列，根据之前的标记和任何文本提示来调节每一个后续标记。这种顺序过程与掩码并行解码不同。
在图像生成的背景下“自回归”意味着什么？
自回归模型将图像分解为序列，根据之前生成的所有元素来预测每个标记或像素。
像 DALL-E 1 这样的现代自回归图像模型在预测图像之前通常如何表示图像？
现代系统将图像压缩为离散标记（通常通过 VQ-VAE 式编码器），然后使用 Transformer 预测该标记序列。
哪些早期模型一次生成一个原始像素图像？
PixelRNN 和 PixelCNN 是自回归模型的先驱，可以逐像素扫描和预测图像。
什么机制可以确保 Transformer 在自回归生成过程中只关注较早的令牌？
因果屏蔽阻止每个位置关注未来的标记，从而强制执行从左到右的分解。
自回归图像采样的主要实际缺点是什么？
由于每个令牌都依赖于之前的令牌，因此推理必须逐个令牌运行，从而使得生成速度相对较慢。