概述
Confidence is a model score used for selection, not a guarantee that a token is correct.
深入探讨
MaskGIT (Masked Generative Image Transformer), from Google in 2022, rethinks how token-based image models decode. Earlier transformers such as VQGAN generate tokens autoregressively, one at a time in raster order. MaskGIT instead trains with a masked modeling objective like BERT: random subsets of image tokens are hidden and the model learns to predict them simultaneously using bidirectional attention. At generation time it starts from a masked grid and decodes over a configured number of refinement iterations; the original paper reports examples using roughly 8 to 12 steps, but the count depends on the setup rather than defining the algorithm. Each step predicts masked tokens, keeps selected high-confidence predictions, and re-masks other positions. Confidence ranks candidates for the next iteration; it does not prove a prediction is correct.
现实世界的实施
通过大约 8 到 12 个并行步骤生成完整图像，而不是数百个自回归标记预测
通过仅重新预测具有周围上下文的隐藏标记来修复照片的遮罩区域
ImageNet 上的类条件图像合成质量可与慢得多的模型相媲美
充当需要快速生成的文本到图像系统（例如 Google 的 MUSE）的解码骨干
MaskGIT 并行令牌解码的未来
MaskGIT 的并行迭代解码激发了一波非自回归生成器的浪潮，包括用于文本到图像的 MUSE 和用于视频的屏蔽方法。该模式并行预测令牌并通过几个步骤进行细化，介于一次性 GAN 和多步扩散之间，提供了可调节的质量与速度权衡。预计屏蔽令牌解码将继续出现在快速多模式生成器和编辑系统中，其中修复和条件填充是自然的选择。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
What is MaskGIT Parallel Token Decoding?
MaskGIT generates images by predicting many tokens at once and selecting high-confidence predictions for subsequent refinement, replacing left-to-right generation with parallel iterations. Confidence is a model score used for selection, not a guarantee that a token is correct.
MaskGIT 解码图像标记与 VQGAN 转换器有何不同？
MaskGIT 通过双向注意力同时预测所有屏蔽标记，这与 VQGAN 缓慢的从左到右自回归解码不同。
MaskGIT 从语言模型中借鉴了什么训练目标？
MaskGIT 隐藏标记的随机子集并学习预测它们，这是类似于 BERT 的屏蔽建模目标。
在生成过程中，MaskGIT 在每次迭代时提交哪些令牌？
At each iteration, MaskGIT retains the predictions with the highest model confidence and re-masks other positions. Confidence is a ranking signal for selecting tokens, not proof that each selected token is correct.
In the original MaskGIT generation examples, roughly how many refinement iterations were often used?
The guide cites roughly 8 to 12 steps as an example from the original paper’s image-generation setups; the count is configuration-dependent rather than a universal requirement.
什么时间表控制 MaskGIT 每一步显示多少个令牌？
余弦时间表在早期揭示了很少的标记，在后期揭示了更多的标记，从而平衡了迭代之间的质量和速度。