Bộ mã hóa tự động đeo mặt nạ
Bộ mã hóa tự động đeo mặt nạ (MAE) là một phương pháp tự giám sát giúp dạy mô hình thị giác tái tạo lại hình ảnh sau khi hầu hết hình ảnh đã bị ẩn.
Tổng quan
By learning to fill in the blanks, the model builds rich visual understanding without any human labels.
Lặn sâu
Bộ mã hóa tự động đeo mặt nạ, được Kaiming He và các đồng nghiệp tại Meta AI giới thiệu vào năm 2021, chụp ảnh, chia thành các mảng nhỏ và ẩn ngẫu nhiên một phần rất lớn trong số đó, thường là 75%. Bộ mã hóa Vision Transformer chỉ xử lý các mảng có thể nhìn thấy được, trong khi bộ giải mã nhẹ cố gắng tái tạo lại các pixel gốc của các pixel bị thiếu. Vì có quá nhiều thứ bị ẩn nên mô hình không thể đơn giản sao chép các pixel lân cận mà phải tìm hiểu cấu trúc có ý nghĩa, như hình dạng và các bộ phận của đối tượng. Bộ mã hóa bỏ qua các bản vá bị che giúp việc đào tạo nhanh chóng và hiệu quả về bộ nhớ. Sau khi huấn luyện trước, bộ giải mã bị loại bỏ và bộ mã hóa chuyển mạnh sang các nhiệm vụ phân loại, phát hiện và phân đoạn.
Hiểu biết kỹ thuật
Bí quyết chính là sự bất đối xứng: bộ mã hóa hạng nặng chỉ nhìn thấy 25% các bản vá chưa được che giấu, trong khi một bộ giải mã nhỏ sẽ tái tạo lại phần còn lại. Các bản vá được làm phẳng, nhúng tuyến tính và được mã hóa theo vị trí. Tổn thất tái tạo là sai số bình phương trung bình chỉ được tính trên các mảng bị che, thường là trên các giá trị pixel được chuẩn hóa. Tỷ lệ che giấu cao buộc phải học ngữ nghĩa thay vì nội suy cấp thấp và bỏ qua các mã thông báo bị che trong các lần cắt bộ mã hóa sẽ tính toán đáng kể so với việc xử lý hình ảnh đầy đủ.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của bộ mã hóa tự động đeo mặt nạ
Tái tạo mặt nạ theo phong cách MAE đang trở thành một công thức đào tạo trước mặc định trên các phương thức. Các nhà nghiên cứu đang mở rộng nó sang video (ẩn các khối không thời gian), quang phổ âm thanh, quét y tế và hình ảnh vệ tinh, những lĩnh vực mà nhãn mác rất khan hiếm và đắt tiền. Mong đợi sự kết hợp chặt chẽ hơn với ngôn ngữ cho các mô hình nền tảng đa phương thức, bộ giải mã hiệu quả hơn và mặt nạ thích ứng nhắm vào các vùng thông tin. Khi điện toán phát triển, việc đào tạo trước bằng mặt nạ trên các bộ sưu tập hình ảnh khổng lồ không được gắn nhãn sẽ tiếp tục cải thiện độ chính xác về sau đồng thời giảm sự phụ thuộc vào chú thích tốn kém của con người.
Triển khai trong thế giới thực
Huấn luyện trước Vision Transformer trên hàng triệu bức ảnh chưa được gắn nhãn, sau đó tinh chỉnh nó để phân loại ImageNet với độ chính xác cao
Các tính năng học tập từ các bản quét y tế không được gắn nhãn (X-quang, MRI) trong đó chú thích của chuyên gia rất tốn kém và bị hạn chế
Điều chỉnh phương pháp này thành video bằng cách che giấu các bản vá không thời gian để huấn luyện trước các mô hình nhận dạng hành động (VideoMAE)
Đào tạo trước về hình ảnh vệ tinh và trên không để hỗ trợ lập bản đồ sử dụng đất và phát hiện thay đổi mà không cần nhãn thủ công
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Masked Autoencoders quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Hình ảnh sáng tạo được đeo mặt nạ của Muse
Câu hỏi thường gặp
What is Masked Autoencoders?
Bộ mã hóa tự động đeo mặt nạ (MAE) là một phương pháp tự giám sát giúp dạy mô hình thị giác tái tạo lại hình ảnh sau khi hầu hết hình ảnh đã bị ẩn. Bằng cách học cách điền vào chỗ trống, mô hình sẽ xây dựng sự hiểu biết trực quan phong phú mà không cần bất kỳ nhãn hiệu nào của con người.
Nhiệm vụ tự giám sát cốt lõi trong Bộ mã hóa tự động đeo mặt nạ là gì?
MAE ẩn hầu hết các mảng hình ảnh và huấn luyện mô hình để tái tạo lại các pixel bị thiếu mà không cần nhãn của con người.
MAE ban đầu thường che đi khoảng bao nhiêu phần bản vá hình ảnh?
MAE ban đầu che giấu khoảng 75% các bản vá, tỷ lệ cao buộc mô hình phải tìm hiểu cấu trúc có ý nghĩa thay vì sao chép các cấu trúc lân cận.
Tại sao bộ mã hóa MAE chỉ xử lý các bản vá hiển thị (không được che giấu)?
Việc bỏ qua các mã thông báo bị che trong bộ mã hóa sẽ làm giảm đáng kể khả năng tính toán và bộ nhớ vì nó chỉ xử lý một phần nhỏ các bản vá.
Điều gì xảy ra với bộ giải mã sau khi quá trình huấn luyện trước MAE hoàn tất?
Bộ giải mã nhẹ chỉ cần thiết cho việc tái cấu trúc trong quá trình huấn luyện trước; sau đó bộ mã hóa đã học sẽ chuyển sang các nhiệm vụ như phát hiện.
MAE thường sử dụng hàm mất mát nào để tái thiết?
MAE giảm thiểu sai số bình phương trung bình giữa giá trị pixel dự đoán và giá trị thực, chỉ được tính trên các mảng bị che.