MaskGIT 并行令牌解码
MaskGIT 通过一次预测许多标记并首先填充最有信心的标记来生成图像，用一些快速并行步骤取代缓慢的从左到右生成。
深入探讨
MaskGIT（Masked Generative Image Transformer），来自 2022 年的 Google，重新思考基于令牌的图像模型如何解码。早期的转换器（例如 VQGAN）以自回归方式生成标记，一次按光栅顺序生成一个标记，这对于 2D 图像来说速度缓慢且不自然。相反，MaskGIT 使用 BERT 等屏蔽建模目标进行训练：隐藏图像标记的随机子集，模型学习使用双向注意力同时预测它们。在生成时，它从完全屏蔽的网格开始，并以固定次数的迭代（通常是 8 到 12 次）进行解码。每一步它都会预测每个被屏蔽的标记，保留最高置信度的预测，并为下一轮重新屏蔽其余的。这产生高质量图像的步骤比自回归解码大约少一个数量级。
技术洞察
关键组成部分是基于置信度的屏蔽方案。余弦时间表决定每次迭代显示多少个令牌，开始缓慢并加速。因为注意力是双向的，所以每个标记都会看到整个部分图像，因此首先提交最有信心的预测可以让后续步骤以可靠的上下文为条件，就像在解决模糊部分之前解决难题的简单部分一样。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
MaskGIT 并行令牌解码的未来
MaskGIT 的并行迭代解码激发了一波非自回归生成器的浪潮，包括用于文本到图像的 MUSE 和用于视频的屏蔽方法。该模式并行预测令牌并通过几个步骤进行细化，介于一次性 GAN 和多步扩散之间，提供了可调节的质量与速度权衡。预计屏蔽令牌解码将继续出现在快速多模式生成器和编辑系统中，其中修复和条件填充是自然的选择。
现实世界的实施
通过大约 8 到 12 个并行步骤生成完整图像，而不是数百个自回归标记预测
通过仅重新预测具有周围上下文的隐藏标记来修复照片的遮罩区域
ImageNet 上的类条件图像合成质量可与慢得多的模型相媲美
充当需要快速生成的文本到图像系统（例如 Google 的 MUSE）的解码骨干
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MaskGIT Parallel Token Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is MaskGIT Parallel Token Decoding?
MaskGIT 通过一次预测许多标记并首先填充最有信心的标记来生成图像，用一些快速并行步骤取代缓慢的从左到右生成。
MaskGIT 解码图像标记与 VQGAN 转换器有何不同？
MaskGIT 通过双向注意力同时预测所有屏蔽标记，这与 VQGAN 缓慢的从左到右自回归解码不同。
MaskGIT 从语言模型中借鉴了什么训练目标？
MaskGIT 隐藏标记的随机子集并学习预测它们，这是类似于 BERT 的屏蔽建模目标。
在生成过程中，MaskGIT 在每次迭代时提交哪些令牌？
每个步骤都会保留最可信的预测并重新掩盖其余的预测，因此后续步骤会以可靠的上下文为条件。
MaskGIT 通常需要大约多少次迭代才能生成图像？
MaskGIT 以少量固定步骤进行解码，通常为 8 到 12 个步骤，远少于自回归或扩散方法。
什么时间表控制 MaskGIT 每一步显示多少个令牌？
余弦时间表在早期揭示了很少的标记，在后期揭示了更多的标记，从而平衡了迭代之间的质量和速度。