Tiếp theoHướng dẫn tiếp theo
Ước tính độ sâu bằng một mắt
AI trực quan
HƯỚNG DẪN AI trực quan
Ước tính độ sâu khuếch tán cúc vạn thọ
Marigold tái sử dụng mô hình khuếch tán tạo hình ảnh đã được huấn luyện trước (Khuếch tán ổn định) để dự đoán bản đồ độ sâu có độ chi tiết cao.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó cho thấy bạn có thể biến kiến thức trực quan phong phú của máy phát điện thành một công cụ nhận thức chính xác với lượng dữ liệu đào tạo ít đến đáng ngạc nhiên.
Lặn sâu
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Men) định nghĩa lại việc ước tính độ sâu như một bài toán tạo có điều kiện. Thay vì đào tạo mạng độ sâu từ đầu, nó tinh chỉnh Khuếch tán ổn định để 'tạo' bản đồ độ sâu dựa trên hình ảnh đầu vào. Cái nhìn sâu sắc là một mô hình được đào tạo để tổng hợp các hình ảnh quang học đã học được hình học, ánh sáng và cấu trúc cảnh sâu trong không gian tiềm ẩn của nó, chính xác là những điều tiên nghiệm hữu ích cho chiều sâu. Đáng chú ý, Marigold chỉ được tinh chỉnh trên các bộ dữ liệu tổng hợp (như Hypersim và Virtual KITTI) nhưng vẫn khái quát tốt cho các bức ảnh thực không chụp. Nó tạo ra độ sâu tương đối bất biến affine với độ chi tiết đặc biệt tốt, mặc dù tính năng khử nhiễu lặp lại làm cho nó chậm hơn so với các mô hình chuyển tiếp như DepthAnything.
Triển khai trong thế giới thực
Trích xuất độ sâu chi tiết từ ảnh kiến trúc và sản phẩm để chiếu sáng lại và mô hình 3D.
Tạo bản đồ độ sâu có độ chi tiết cao được sử dụng làm điều hòa để tạo hình ảnh và video có thể kiểm soát.
Hỗ trợ các nhóm làm phim và VFX trong công việc mờ và thị sai trong đó độ chính xác của cạnh là vấn đề quan trọng.
Phục vụ như một cơ sở nghiên cứu cho thấy cách điều chỉnh các ưu tiên tổng quát cho các nhiệm vụ dự đoán dày đặc.
Tương lai của ước tính độ sâu khuếch tán cúc vạn thọ
Công thức Marigold, tinh chỉnh các ưu tiên khuếch tán để dự đoán dày đặc, đang khái quát hóa từ độ sâu đến quy chuẩn bề mặt, phân rã hình ảnh nội tại và ước tính vật chất. Các biến thể mô hình nhất quán và chắt lọc nhanh hơn đang thu hẹp khoảng cách về tốc độ với các mạng chuyển tiếp nguồn cấp dữ liệu, giúp nhận thức dựa trên sự khuếch tán trở nên khả thi trong các công cụ tương tác. Mong đợi một xu hướng rộng hơn trong đó một đường trục tổng quát được huấn luyện trước có thể thích ứng với nhiều nhiệm vụ hình học và nhận thức, giảm nhu cầu về các tập dữ liệu lớn được gắn nhãn dành riêng cho nhiệm vụ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Marigold Diffusion Depth Estimation quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Ước tính độ sâu khuếch tán cúc vạn thọ là gì?
Marigold tái sử dụng mô hình khuếch tán tạo hình ảnh đã được huấn luyện trước (Khuếch tán ổn định) để dự đoán bản đồ độ sâu có độ chi tiết cao. Nó cho thấy bạn có thể biến kiến thức trực quan phong phú của máy phát điện thành một công cụ nhận thức chính xác với lượng dữ liệu đào tạo ít đến đáng ngạc nhiên.
Marigold xây dựng trên mô hình đào tạo trước nào?
Marigold tinh chỉnh mô hình khuếch tán tiềm ẩn Khuếch tán ổn định để tạo ra bản đồ độ sâu.
Marigold đóng khung nhiệm vụ ước tính độ sâu như thế nào?
Nó coi chiều sâu là thứ được 'tạo ra' dựa trên hình ảnh đầu vào, sử dụng lại cơ chế khuếch tán.
Điều gì đáng ngạc nhiên về dữ liệu huấn luyện của Marigold?
Marigold đã được tinh chỉnh trên dữ liệu tổng hợp như Hypersim và Virtual KITTI nhưng khái quát hóa ảnh không chụp thành ảnh thật.
Tại sao Marigold thường chậm hơn so với các mô hình độ sâu chuyển tiếp tiếp liệu?
Các mô hình khuếch tán khử nhiễu qua nhiều bước, khiến cho việc suy luận chậm hơn so với một lần chuyển tiếp.
Marigold thực hiện quá trình khuếch tán của nó trong không gian nào?
Cả hình ảnh và độ sâu đều được mã hóa vào không gian tiềm ẩn VAE nơi U-Net khử nhiễu.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này