Ước tính độ sâu khuếch tán cúc vạn thọ
Marigold tái sử dụng mô hình khuếch tán tạo hình ảnh đã được huấn luyện trước (Khuếch tán ổn định) để dự đoán bản đồ độ sâu có độ chi tiết cao.
Tổng quan
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
Lặn sâu
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Men) định nghĩa lại việc ước tính độ sâu như một bài toán tạo có điều kiện. Thay vì đào tạo mạng độ sâu từ đầu, nó tinh chỉnh Khuếch tán ổn định để 'tạo' bản đồ độ sâu dựa trên hình ảnh đầu vào. Cái nhìn sâu sắc là một mô hình được đào tạo để tổng hợp các hình ảnh quang học đã học được hình học, ánh sáng và cấu trúc cảnh sâu trong không gian tiềm ẩn của nó, chính xác là những điều tiên nghiệm hữu ích cho chiều sâu. Đáng chú ý, Marigold chỉ được tinh chỉnh trên các bộ dữ liệu tổng hợp (như Hypersim và Virtual KITTI) nhưng vẫn khái quát tốt cho các bức ảnh thực không chụp. Nó tạo ra độ sâu tương đối bất biến affine với độ chi tiết đặc biệt tốt, mặc dù tính năng khử nhiễu lặp lại làm cho nó chậm hơn so với các mô hình chuyển tiếp như DepthAnything.
Hiểu biết kỹ thuật
Cúc vạn thọ hoạt động trong không gian tiềm ẩn của Khuếch tán ổn định. Cả hình ảnh và bản đồ độ sâu đều được mã hóa bởi cùng một VAE; U-Net được tinh chỉnh để khử nhiễu độ sâu tiềm ẩn dựa trên độ tiềm ẩn của hình ảnh rõ ràng. Khi suy luận, nó chạy vòng lặp khử nhiễu lặp tiêu chuẩn, sau đó giải mã độ sâu tiềm ẩn. Bởi vì nó lấy mẫu, nhiều lần chạy có thể được kết hợp để đảm bảo tính ổn định, tính toán giao dịch để đảm bảo độ chính xác. Sau này 'LCM' và các phiên bản chưng cất một bước đã cắt giảm hàng chục bước xuống còn một bước duy nhất.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của ước tính độ sâu khuếch tán cúc vạn thọ
Công thức Marigold, tinh chỉnh các ưu tiên khuếch tán để dự đoán dày đặc, đang khái quát hóa từ độ sâu đến quy chuẩn bề mặt, phân rã hình ảnh nội tại và ước tính vật chất. Các biến thể mô hình nhất quán và chắt lọc nhanh hơn đang thu hẹp khoảng cách về tốc độ với các mạng chuyển tiếp nguồn cấp dữ liệu, giúp nhận thức dựa trên sự khuếch tán trở nên khả thi trong các công cụ tương tác. Mong đợi một xu hướng rộng hơn trong đó một đường trục tổng quát được huấn luyện trước có thể thích ứng với nhiều nhiệm vụ hình học và nhận thức, giảm nhu cầu về các tập dữ liệu lớn được gắn nhãn dành riêng cho nhiệm vụ.
Triển khai trong thế giới thực
Trích xuất độ sâu chi tiết từ ảnh kiến trúc và sản phẩm để chiếu sáng lại và mô hình 3D.
Tạo bản đồ độ sâu có độ chi tiết cao được sử dụng làm điều hòa để tạo hình ảnh và video có thể kiểm soát.
Hỗ trợ các nhóm làm phim và VFX trong công việc mờ và thị sai trong đó độ chính xác của cạnh là vấn đề quan trọng.
Phục vụ như một cơ sở nghiên cứu cho thấy cách điều chỉnh các ưu tiên tổng quát cho các nhiệm vụ dự đoán dày đặc.
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Ước tính độ sâu bằng một mắt
Câu hỏi thường gặp
What is Marigold Diffusion Depth Estimation?
Marigold tái sử dụng mô hình khuếch tán tạo hình ảnh đã được huấn luyện trước (Khuếch tán ổn định) để dự đoán bản đồ độ sâu có độ chi tiết cao. Nó cho thấy bạn có thể biến kiến thức trực quan phong phú của máy phát điện thành một công cụ nhận thức chính xác với lượng dữ liệu đào tạo ít đến đáng ngạc nhiên.
Marigold xây dựng trên mô hình đào tạo trước nào?
Marigold tinh chỉnh mô hình khuếch tán tiềm ẩn Khuếch tán ổn định để tạo ra bản đồ độ sâu.
Marigold đóng khung nhiệm vụ ước tính độ sâu như thế nào?
Nó coi chiều sâu là thứ được 'tạo ra' dựa trên hình ảnh đầu vào, sử dụng lại cơ chế khuếch tán.
Điều gì đáng ngạc nhiên về dữ liệu huấn luyện của Marigold?
Marigold đã được tinh chỉnh trên dữ liệu tổng hợp như Hypersim và Virtual KITTI nhưng khái quát hóa ảnh không chụp thành ảnh thật.
Tại sao Marigold thường chậm hơn so với các mô hình độ sâu chuyển tiếp tiếp liệu?
Các mô hình khuếch tán khử nhiễu qua nhiều bước, khiến cho việc suy luận chậm hơn so với một lần chuyển tiếp.
Marigold thực hiện quá trình khuếch tán của nó trong không gian nào?
Cả hình ảnh và độ sâu đều được mã hóa vào không gian tiềm ẩn VAE nơi U-Net khử nhiễu.