Tiếp theoHướng dẫn tiếp theo
Đường ống chuyển văn bản thành 3D Magic3D
AI trực quan
HƯỚNG DẪN AI trực quan
Tái tạo 3D dày đặc DUSt3R
DUSt3R là một cách tiếp cận đã học để tái tạo 3D dày đặc từ các bộ sưu tập hình ảnh mà không yêu cầu hiệu chỉnh máy ảnh hoặc đặt tư thế làm đầu vào.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó dự đoán các bản đồ điểm và bản đồ độ tin cậy, sau đó sử dụng căn chỉnh toàn cầu cho nhiều chế độ xem. Đầu ra của nó là các ước tính có độ chính xác phụ thuộc vào sự chồng chéo hình ảnh, nội dung cảnh và căn chỉnh xuôi dòng.
Lặn sâu
DUSt3R (Wang và cộng sự, 2024) định hình lại quá trình tái tạo âm thanh nổi dày đặc dưới dạng hồi quy sơ đồ điểm theo cặp. Với hai hình ảnh, nó dự đoán tọa độ 3D cho mỗi pixel, biểu thị cả hai bản đồ điểm trong khung tọa độ của hình ảnh đầu tiên, cùng với bản đồ độ tin cậy trên mỗi pixel. Nó không yêu cầu hiệu chỉnh máy ảnh hoặc tư thế quan điểm làm đầu vào. Đối với nhiều hơn hai hình ảnh, quy trình căn chỉnh toàn cục sẽ đưa các bản đồ điểm theo cặp vào một khung tham chiếu chung; Sau đó, các thông số máy ảnh và pixel khớp có thể được phục hồi từ hình học được căn chỉnh. MASt3R được xây dựng trên khung với cách tiếp cận đối sánh hình ảnh dày đặc được bổ sung.
Triển khai trong thế giới thực
Ước tính các điểm 3D dày đặc từ một cặp ảnh chưa được hiệu chỉnh
Khôi phục các tư thế máy ảnh tương đối và sự tương ứng pixel từ các dự đoán sơ đồ điểm với căn chỉnh xuôi dòng
Kết hợp các cấu trúc tái tạo theo cặp vào khung tọa độ dùng chung cho cảnh nhiều hình ảnh
Sử dụng bản đồ độ tin cậy để cân nhắc hoặc lọc các điểm 3D được dự đoán không chắc chắn
Tương lai của việc tái tạo 3D dày đặc DUSt3R
DUSt3R và MASt3R minh họa cách các bản đồ điểm đã học có thể hỗ trợ một số tác vụ trực quan hình học từ các cặp hình ảnh. Các câu hỏi mở bao gồm độ chắc chắn cho đến sự chồng chéo yếu, kết cấu lặp lại, cảnh động và bộ sưu tập hình ảnh lớn hơn. Các hệ thống hạ nguồn phải xác nhận ước tính tỷ lệ, căn chỉnh và camera đã phục hồi cho mục đích sử dụng dự định của chúng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra Tái tạo 3D dày đặc DUSt3R
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Tái tạo 3D dày đặc DUSt3R là gì?
DUSt3R là một cách tiếp cận đã học để tái tạo 3D dày đặc từ các bộ sưu tập hình ảnh mà không yêu cầu hiệu chỉnh máy ảnh hoặc đặt tư thế làm đầu vào. Nó dự đoán các bản đồ điểm và bản đồ độ tin cậy, sau đó sử dụng căn chỉnh toàn cầu cho nhiều chế độ xem. Đầu ra của nó là các ước tính có độ chính xác phụ thuộc vào sự chồng chéo hình ảnh, nội dung cảnh và căn chỉnh xuôi dòng.
DUSt3R KHÔNG yêu cầu thông tin quan trọng nào làm đầu vào, không giống như cấu trúc từ chuyển động cổ điển?
DUSt3R hoạt động với máy ảnh chưa được hiệu chỉnh và các tư thế không xác định; nó ước tính hình học trực tiếp từ những hình ảnh thô.
Đầu ra trung tâm mà mạng DUSt3R hồi quy cho mỗi hình ảnh là gì?
DUSt3R dự đoán một sơ đồ điểm, gán cho mỗi pixel một tọa độ 3D dày đặc, với cả hai hình ảnh của một cặp trong khung tọa độ chung.
Trong cặp hình ảnh DUSt3R, cả hai bản đồ điểm được thể hiện trong khung tọa độ nào?
Bản đồ điểm của cả hai hình ảnh đều được hồi quy vào khung tọa độ của máy ảnh đầu tiên, giúp hình học của chúng có thể so sánh trực tiếp.
Làm cách nào DUSt3R có thể tạo ra các tư thế máy ảnh và điểm ảnh trùng khớp mà không nhận chúng làm thông tin đầu vào đã biết?
DUSt3R dự đoán sơ đồ điểm trước tiên; Các ước tính và kết quả khớp của máy ảnh có thể được phục hồi từ hình học thông qua quá trình xử lý và căn chỉnh tiếp theo.
DUSt3R xử lý nhiều hơn hai hình ảnh đầu vào như thế nào?
Đối với nhiều chế độ xem, DUSt3R chạy căn chỉnh toàn cầu hợp nhất tất cả các bản đồ điểm theo cặp thành một đám mây điểm nhất quán.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này