Tiếp theoHướng dẫn tiếp theo
Phát hiện tính năng SIFT và ORB
kỹ thuật
HƯỚNG DẪN AI trực quan
SuperGlue và LightGlue là các công cụ so khớp đã học để quyết định điểm chính cục bộ nào trong hai hình ảnh tương ứng, sử dụng ngữ cảnh từ cả hai bộ tính năng thay vì chỉ dựa vào các so sánh bộ mô tả lân cận gần nhất bị cô lập.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Chúng quan trọng trong các quy trình khớp hình ảnh vì sự tương ứng tốt hơn có thể cải thiện các tác vụ hình học xuôi dòng, trong khi bộ phát hiện tìm thấy các điểm chính vẫn là một thành phần riêng biệt.
Các công cụ so khớp cổ điển như SIFT tìm bộ mô tả lân cận gần nhất cho từng điểm chính một cách độc lập, điều này gặp khó khăn khi nhiều điểm chính trông giống nhau cục bộ, chẳng hạn như các cửa sổ lặp lại trên mặt tiền tòa nhà hoặc khi thay đổi góc nhìn lớn làm biến dạng mảng cục bộ xung quanh một điểm chính ngoài mức mà một bộ mô tả cố định có thể hấp thụ. SuperGlue, được Sarlin và các đồng nghiệp tại CVPR giới thiệu vào năm 2020, định hình lại việc so khớp như một bài toán tối ưu hóa chung được giải quyết bằng mạng thần kinh đồ thị. Với hai bộ điểm chính, mỗi bộ có một vị trí và một bộ mô tả từ một trình phát hiện riêng biệt như SuperPoint, SuperGlue áp dụng các lớp tự chú ý xen kẽ, trong đó các điểm chính liên quan đến các điểm chính khác trong cùng một hình ảnh và chú ý chéo, trong đó các điểm chính liên quan đến các điểm chính trong hình ảnh khác, cho phép mạng xây dựng thông tin theo ngữ cảnh về toàn bộ bố cục cảnh thay vì đánh giá từng điểm một cách riêng biệt. Quyết định đối sánh cuối cùng được đóng khung như một vấn đề vận chuyển tối ưu, được giải gần đúng bằng thuật toán Sinkhorn, thuật toán này chỉ định mỗi điểm chính cho tối đa một điểm trùng khớp trong hình ảnh khác trong khi cho phép các điểm được đánh dấu là không khớp, thuật toán này xử lý một cách tự nhiên tình trạng tắc và các điểm chính chỉ hiển thị trong một hình ảnh. LightGlue, được giới thiệu vào năm 2023 với tư cách là phiên bản kế nhiệm hiệu quả hơn, vẫn giữ nguyên kiến trúc dựa trên sự chú ý nhưng bổ sung cơ chế thích ứng giúp dừng xử lý sớm đối với các cặp hình ảnh dễ khớp và cắt bớt các điểm chính chắc chắn không thể so sánh được trong suốt quá trình, cho phép nó tốn ít tính toán hơn cho các cặp dễ dàng; bài viết báo cáo kết quả về độ chính xác và tốc độ cho các điểm chuẩn được đánh giá của nó, không nên khái quát hóa cho mọi tập dữ liệu hoặc thiết bị. Một quan niệm sai lầm phổ biến là các hệ thống này tự phát hiện các điểm chính; trong thực tế, chúng là những công cụ so khớp lấy các điểm chính đã được tìm thấy bởi một máy dò riêng biệt, thường là SuperPoint và toàn bộ đóng góp của chúng là quyết định điểm nào tương ứng trên hai hình ảnh.
Hệ thống bản địa hóa hình ảnh dành cho tai nghe AR sử dụng SuperGlue để khớp khung hình camera trực tiếp với bản đồ 3D được lưu trữ ngay cả khi ánh sáng đã thay đổi đáng kể kể từ khi bản đồ được tạo.
Các quy trình cấu trúc từ chuyển động như COLMAP kết hợp các kết hợp SuperGlue để tái tạo mô hình 3D từ các bức ảnh du lịch được chụp từ các góc độ và máy ảnh khác nhau.
Hệ thống điều hướng máy bay không người lái tự động sử dụng khả năng suy luận nhanh hơn của LightGlue để khớp các tính năng giữa các khung hình video liên tiếp trong thời gian thực để đo hình ảnh trực quan.
Các ứng dụng theo dõi tiến độ xây dựng sử dụng các công cụ so khớp tính năng đã học để căn chỉnh các bức ảnh của cùng một địa điểm cách nhau vài tuần bất chấp giàn giáo mới, ánh sáng khác nhau và những thay đổi theo mùa.
Các công cụ đối sánh đã học có thể tiếp tục thay thế đối sánh láng giềng gần nhất thuần túy trong các ứng dụng trong đó độ chính xác trong điều kiện quan điểm hoặc ánh sáng khó khăn quan trọng hơn chi phí tính toán thô, chẳng hạn như tái tạo 3D từ ảnh có nguồn gốc từ đám đông và định vị lại AR. Khi các trình phát hiện và trình so khớp tiếp tục được tối ưu hóa chung hoặc được thay thế bằng các quy trình đã học từ đầu đến cuối, sự tách biệt rõ ràng giữa trình phát hiện như SuperPoint và trình so khớp như LightGlue có thể mờ đi hơn nữa, mặc dù ý tưởng cơ bản về việc cùng suy luận về sự tương ứng thay vì khớp các điểm một cách độc lập có thể vẫn tồn tại như một nguyên tắc thiết kế cốt lõi.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
SuperGlue và LightGlue là các công cụ so khớp đã học để quyết định điểm chính cục bộ nào trong hai hình ảnh tương ứng, sử dụng ngữ cảnh từ cả hai bộ tính năng thay vì chỉ dựa vào các so sánh bộ mô tả lân cận gần nhất bị cô lập. Chúng quan trọng trong các quy trình khớp hình ảnh vì sự tương ứng tốt hơn có thể cải thiện các tác vụ hình học xuôi dòng, trong khi bộ phát hiện tìm thấy các điểm chính vẫn là một thành phần riêng biệt.
Hướng dẫn giải thích các đánh giá so khớp cổ điển từng điểm một cách độc lập, điều này không thành công khi nhiều điểm trông giống nhau về mặt cục bộ hoặc sự thay đổi quan điểm làm biến dạng bản vá cục bộ quá nhiều.
Hướng dẫn nêu tên Sarlin và các đồng nghiệp sẽ giới thiệu SuperGlue tại CVPR vào năm 2020.
Hướng dẫn mô tả SuperGlue áp dụng khả năng tự chú ý xen kẽ trong một hình ảnh và sự chú ý chéo giữa hai hình ảnh.
Hướng dẫn nêu rõ quyết định đối sánh cuối cùng được đóng khung dưới dạng vận chuyển tối ưu, được giải gần đúng bằng thuật toán Sinkhorn.
Hướng dẫn này giải thích công thức vận chuyển tối ưu cho phép đánh dấu các điểm chưa từng có, xử lý các điểm chính bị tắc và một hình ảnh.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Phát hiện tính năng SIFT và ORB
kỹ thuật