ДалееСледующее руководство
Генеративная визуализация под маской Muse
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Masked Autoencoders (MAE) are a self-supervised vision-pretraining method that reconstructs randomly masked image patches from visible patches.
Прослушайте это руководствоОзвучено ИИ · ~1 min
The MAE paper masks 75% of image patches, sends only visible patches to a Vision Transformer encoder, and uses a lightweight decoder to reconstruct the image. The reconstruction loss is computed on masked patches. After pretraining, the decoder can be discarded and the encoder fine-tuned for downstream vision tasks. These claims refer to the paper’s evaluated ImageNet and transfer settings, not applications in medical or satellite imagery.
The original MAE paper masks a high fraction of image patches during pretraining.
The encoder processes only visible patches, reducing encoder computation in the proposed design.
A lightweight decoder reconstructs masked pixels and is discarded after pretraining.
The paper evaluates pretrained representations on ImageNet-1K classification and downstream vision tasks.
When evaluating masked-image pretraining, report masking ratio, data, architecture and downstream task. The cited paper establishes image-pretraining experiments, not broad adoption across medical, satellite or video systems. Extensions to other modalities require their own evidence.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Masked Autoencoders (MAE) are a self-supervised vision-pretraining method that reconstructs randomly masked image patches from visible patches.
MAE скрывает большинство фрагментов изображения и обучает модель восстанавливать недостающие пиксели, не требуя никаких человеческих меток.
Исходный MAE маскирует около 75% патчей — высокий коэффициент, который заставляет модель изучать значимую структуру, а не копировать соседей.
Пропуск замаскированных токенов в кодировщике значительно сокращает вычислительные ресурсы и память, поскольку он обрабатывает лишь небольшую часть исправлений.
Облегченный декодер необходим только для реконструкции во время предварительного обучения; после этого обученный кодер переходит к таким задачам, как обнаружение.
MAE минимизирует среднеквадратическую ошибку между прогнозируемыми и истинными значениями пикселей, вычисляемую только на замаскированных участках.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Генеративная визуализация под маской Muse
Визуальный ИИ