Tiếp theoHướng dẫn tiếp theo
Hình ảnh sáng tạo được đeo mặt nạ của Muse
AI trực quan
HƯỚNG DẪN AI trực quan
Masked Autoencoders (MAE) là một phương pháp tiền huấn luyện thị giác tự giám sát tái tạo các khối hình ảnh bị che ngẫu nhiên từ các khối hình ảnh có thể nhìn thấy.
Nghe hướng dẫn nàyAI thuật lại · ~1 min
The MAE paper masks 75% of image patches, sends only visible patches to a Vision Transformer encoder, and uses a lightweight decoder to reconstruct the image. The reconstruction loss is computed on masked patches. After pretraining, the decoder can be discarded and the encoder fine-tuned for downstream vision tasks. These claims refer to the paper’s evaluated ImageNet and transfer settings, not applications in medical or satellite imagery.
The original MAE paper masks a high fraction of image patches during pretraining.
The encoder processes only visible patches, reducing encoder computation in the proposed design.
A lightweight decoder reconstructs masked pixels and is discarded after pretraining.
The paper evaluates pretrained representations on ImageNet-1K classification and downstream vision tasks.
When evaluating masked-image pretraining, report masking ratio, data, architecture and downstream task. The cited paper establishes image-pretraining experiments, not broad adoption across medical, satellite or video systems. Extensions to other modalities require their own evidence.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Masked Autoencoders (MAE) là một phương pháp tiền huấn luyện thị giác tự giám sát tái tạo các khối hình ảnh bị che ngẫu nhiên từ các khối hình ảnh có thể nhìn thấy.
MAE ẩn hầu hết các mảng hình ảnh và huấn luyện mô hình để tái tạo lại các pixel bị thiếu mà không cần nhãn của con người.
MAE ban đầu che giấu khoảng 75% các bản vá, tỷ lệ cao buộc mô hình phải tìm hiểu cấu trúc có ý nghĩa thay vì sao chép các cấu trúc lân cận.
Việc bỏ qua các mã thông báo bị che trong bộ mã hóa sẽ làm giảm đáng kể khả năng tính toán và bộ nhớ vì nó chỉ xử lý một phần nhỏ các bản vá.
Bộ giải mã nhẹ chỉ cần thiết cho việc tái cấu trúc trong quá trình huấn luyện trước; sau đó bộ mã hóa đã học sẽ chuyển sang các nhiệm vụ như phát hiện.
MAE giảm thiểu sai số bình phương trung bình giữa giá trị pixel dự đoán và giá trị thực, chỉ được tính trên các mảng bị che.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Hình ảnh sáng tạo được đeo mặt nạ của Muse
AI trực quan