深入探讨
MAE论文遮蔽了75%的图像块，仅将可见块送入视觉Transformer编码器，并使用轻量级解码器重建图像。重建损失在遮蔽的块上计算。预训练后，解码器可被丢弃，编码器可用于下游视觉任务的微调。这些声明基于论文在ImageNet和迁移设置上的评估，而非在医学或卫星影像等领域的应用。
现实世界的实施
原始MAE论文在预训练期间遮蔽了大量的图像块。
编码器仅处理可见的图像块，从而在所提设计中降低了编码器的计算量。
轻量级解码器重建被遮蔽的像素，预训练完成后即被丢弃。
论文在ImageNet-1K分类和下游视觉任务上评估了预训练表示。
屏蔽自动编码器的未来
在评估遮蔽图像预训练时，需要报告遮蔽比例、数据、架构和下游任务。被引用的论文建立了图像预训练实验，而非在医学、卫星或视频系统中的广泛采用。向其他模态的扩展需要自行提供证据。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是屏蔽自动编码器？
Masked Autoencoders（MAE）是一种自监督视觉预训练方法，能够从可见的图像块重建随机遮蔽的图像块。
掩码自动编码器中的核心自监督任务是什么？
MAE 隐藏了大多数图像块并训练模型来重建丢失的像素，不需要人工标签。
原始 MAE 通常会大致屏蔽掉图像块的多少部分？
原始 MAE 掩盖了大约 75% 的补丁，这个高比例迫使模型学习有意义的结构而不是复制邻居。
为什么 MAE 编码器只处理可见（未屏蔽）的补丁？
在编码器中跳过屏蔽标记大大减少了计算量和内存，因为它只处理一小部分补丁。
MAE 预训练完成后解码器会发生什么？
轻量级解码器只需要在预训练时进行重建；之后，学习到的编码器转移到检测等任务。
MAE 通常使用哪种损失函数进行重建？
MAE 最大限度地减少预测像素值和真实像素值之间的均方误差，仅在遮罩补丁上计算。