các kết cấu biến dạng
Các tích chập có thể biến dạng cho phép mạng lưới thần kinh uốn cong lưới lấy mẫu của nó để đi theo hình dạng thực tế của các vật thể thay vì buộc nó phải đi qua một cửa sổ hình vuông cứng nhắc.
Tổng quan
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Lặn sâu
Tích chập bình thường lấy mẫu các pixel ở các độ lệch cố định - một lưới 3x3 gọn gàng tập trung vào mỗi vị trí. Điều đó hoạt động tốt đối với các kết cấu nhưng gặp khó khăn khi các vật thể bị nghiêng, bị kéo căng hoặc có hình dạng kỳ lạ. Các tích chập có thể biến dạng, được Dai và các đồng nghiệp tại Microsoft giới thiệu Nghiên cứu vào năm 2017, bổ sung một độ lệch nhỏ đã học được cho từng điểm lấy mẫu đó. Mạng xem xét đầu vào và dự đoán sự dịch chuyển 2D cho mọi vị trí lưới, do đó, trường tiếp nhận có thể cong để ôm cạnh cong hoặc đi theo một nhánh nghiêng. Việc gộp RoI có thể biến dạng áp dụng ý tưởng tương tự cho các đặc điểm vùng. Phiên bản 2 (2018) đã thêm trọng số điều chế trên mỗi điểm, cho phép lớp làm giảm hoặc khuếch đại từng mẫu, giúp nâng cao độ chính xác của việc phát hiện đối tượng trên các điểm chuẩn như COCO.
Hiểu biết kỹ thuật
Các hiệu số được tạo ra bởi một lớp tích chập bổ sung chạy song song, xuất ra các giá trị 2N cho hạt nhân N điểm (một dx, một dy mỗi điểm). Bởi vì độ lệch được dự đoán là phân số nên các giá trị pixel được lấy mẫu được tính toán bằng phép nội suy song tuyến tính, giúp cho toàn bộ hoạt động có thể phân biệt được. Các chênh lệch được học từ đầu đến cuối thông qua quá trình truyền ngược thông thường — không có sự giám sát riêng biệt nào cho mạng biết nơi cần tìm. Chi phí tăng thêm rất khiêm tốn vì nhánh offset có trọng lượng nhẹ so với các bản đồ tính năng chính.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của các kết cấu có thể biến dạng
Sự chú ý có thể biến dạng đã trở thành xương sống của phát hiện hiện đại: DETR có thể biến dạng sử dụng độ lệch lấy mẫu đã học để làm cho sự chú ý của máy biến áp trở nên thưa thớt và nhanh chóng, cắt giảm đáng kể thời gian đào tạo so với DETR ban đầu. Mong đợi nguyên tắc có thể biến dạng sẽ tiếp tục lan rộng sang video, đám mây điểm 3D và mô hình ngôn ngữ thị giác, trong đó việc lấy mẫu thích ứng giúp xử lý chuyển động, tắc nghẽn và hình học không đều. Khi khả năng hỗ trợ phần cứng cho việc truy cập bộ nhớ không thường xuyên được cải thiện, các toán tử có thể biến dạng cũng sẽ rẻ hơn và được triển khai rộng rãi hơn trên các thiết bị biên.
Triển khai trong thế giới thực
Phát hiện đối tượng trên COCO, trong đó các lớp có thể biến dạng giúp tăng cường độ chính xác trên các vật thể kéo dài hoặc xoay như xe lửa và hươu cao cổ
Phân đoạn ngữ nghĩa của cảnh đường phố, giúp mô hình theo dõi các vạch kẻ đường cong và đường viền tòa nhà không đều
DETR có thể biến dạng để phát hiện từ đầu đến cuối, sử dụng các giá trị bù đã học để làm cho sự chú ý của máy biến áp trở nên hiệu quả
Hình ảnh y tế, trong đó các khối u và cơ quan có hình dạng không cứng nhắc mà lưới cố định chụp kém
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Deformable Convolutions quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Các kết cấu có thể phân tách theo chiều sâu
Câu hỏi thường gặp
What is Deformable Convolutions?
Các tích chập có thể biến dạng cho phép mạng lưới thần kinh uốn cong lưới lấy mẫu của nó để đi theo hình dạng thực tế của các vật thể thay vì buộc nó phải đi qua một cửa sổ hình vuông cứng nhắc. Điều này làm cho các mô hình xử lý các hình dạng kỳ lạ, thay đổi tỷ lệ và biến dạng hình học tốt hơn nhiều.
Tích chập có thể biến dạng bổ sung thêm những gì so với tích chập tiêu chuẩn?
Các tích chập có thể biến dạng dự đoán độ lệch đã học (dx, dy) cho từng vị trí lấy mẫu, cho phép lưới cong để khớp với hình dạng đối tượng.
Độ lệch lấy mẫu trong một tích chập có thể biến dạng được tạo ra như thế nào?
Nhánh tích chập song song đưa ra các giá trị bù, được học từ đầu đến cuối thông qua lan truyền ngược.
Vì độ lệch được dự đoán thường là phân số nên giá trị pixel được lấy mẫu ở các vị trí đó như thế nào?
Độ lệch phân số yêu cầu nội suy song tuyến tính, giúp duy trì hoạt động có thể phân biệt được trong quá trình đào tạo.
Deformable ConvNets v2 (2018) đã thêm gì vào bản gốc?
v2 đã giới thiệu phương pháp điều chế, trọng số đã học trên mỗi điểm lấy mẫu có thể khuếch đại hoặc triệt tiêu ảnh hưởng của nó, cải thiện độ chính xác.
Tại sao các phép tích chập có thể biến dạng lại đặc biệt hữu ích cho các vật thể có hình dạng không đều?
Bằng cách uốn cong lưới lấy mẫu, trường tiếp nhận hiệu quả sẽ thẳng hàng với hình dạng của đối tượng thay vì hình vuông cứng nhắc.