Tiếp theoHướng dẫn tiếp theo
Các kết cấu có thể phân tách theo chiều sâu
kỹ thuật
HƯỚNG DẪN AI trực quan
các kết cấu biến dạng
Các tích chập có thể biến dạng cho phép mạng lưới thần kinh uốn cong lưới lấy mẫu của nó để đi theo hình dạng thực tế của các vật thể thay vì buộc nó phải đi qua một cửa sổ hình vuông cứng nhắc.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
Lặn sâu
Tích chập bình thường lấy mẫu các pixel ở các độ lệch cố định - một lưới 3x3 gọn gàng tập trung vào mỗi vị trí. Điều đó hoạt động tốt đối với các kết cấu nhưng gặp khó khăn khi các vật thể bị nghiêng, bị kéo căng hoặc có hình dạng kỳ lạ. Các tích chập có thể biến dạng, được Dai và các đồng nghiệp tại Microsoft giới thiệu Nghiên cứu vào năm 2017, bổ sung một độ lệch nhỏ đã học được cho từng điểm lấy mẫu đó. Mạng xem xét đầu vào và dự đoán sự dịch chuyển 2D cho mọi vị trí lưới, do đó, trường tiếp nhận có thể cong để ôm cạnh cong hoặc đi theo một nhánh nghiêng. Việc gộp RoI có thể biến dạng áp dụng ý tưởng tương tự cho các đặc điểm vùng. Phiên bản 2 (2018) đã thêm trọng số điều chế trên mỗi điểm, cho phép lớp làm giảm hoặc khuếch đại từng mẫu, giúp nâng cao độ chính xác của việc phát hiện đối tượng trên các điểm chuẩn như COCO.
Triển khai trong thế giới thực
Phát hiện đối tượng trên COCO, trong đó các lớp có thể biến dạng giúp tăng cường độ chính xác trên các vật thể kéo dài hoặc xoay như xe lửa và hươu cao cổ
Phân đoạn ngữ nghĩa của cảnh đường phố, giúp mô hình theo dõi các vạch kẻ đường cong và đường viền tòa nhà không đều
DETR có thể biến dạng để phát hiện từ đầu đến cuối, sử dụng các giá trị bù đã học để làm cho sự chú ý của máy biến áp trở nên hiệu quả
Hình ảnh y tế, trong đó các khối u và cơ quan có hình dạng không cứng nhắc mà lưới cố định chụp kém
Tương lai của các kết cấu có thể biến dạng
Sự chú ý có thể biến dạng đã trở thành xương sống của phát hiện hiện đại: DETR có thể biến dạng sử dụng độ lệch lấy mẫu đã học để làm cho sự chú ý của máy biến áp trở nên thưa thớt và nhanh chóng, cắt giảm đáng kể thời gian đào tạo so với DETR ban đầu. Mong đợi nguyên tắc có thể biến dạng sẽ tiếp tục lan rộng sang video, đám mây điểm 3D và mô hình ngôn ngữ thị giác, trong đó việc lấy mẫu thích ứng giúp xử lý chuyển động, tắc nghẽn và hình học không đều. Khi khả năng hỗ trợ phần cứng cho việc truy cập bộ nhớ không thường xuyên được cải thiện, các toán tử có thể biến dạng cũng sẽ rẻ hơn và được triển khai rộng rãi hơn trên các thiết bị biên.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Deformable Convolutions quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Deformable Convolutions?
Các tích chập có thể biến dạng cho phép mạng lưới thần kinh uốn cong lưới lấy mẫu của nó để đi theo hình dạng thực tế của các vật thể thay vì buộc nó phải đi qua một cửa sổ hình vuông cứng nhắc. Điều này làm cho các mô hình xử lý các hình dạng kỳ lạ, thay đổi tỷ lệ và biến dạng hình học tốt hơn nhiều.
Tích chập có thể biến dạng bổ sung thêm những gì so với tích chập tiêu chuẩn?
Các tích chập có thể biến dạng dự đoán độ lệch đã học (dx, dy) cho từng vị trí lấy mẫu, cho phép lưới cong để khớp với hình dạng đối tượng.
Độ lệch lấy mẫu trong một tích chập có thể biến dạng được tạo ra như thế nào?
Nhánh tích chập song song đưa ra các giá trị bù, được học từ đầu đến cuối thông qua lan truyền ngược.
Vì độ lệch được dự đoán thường là phân số nên giá trị pixel được lấy mẫu ở các vị trí đó như thế nào?
Độ lệch phân số yêu cầu nội suy song tuyến tính, giúp duy trì hoạt động có thể phân biệt được trong quá trình đào tạo.
Deformable ConvNets v2 (2018) đã thêm gì vào bản gốc?
v2 đã giới thiệu phương pháp điều chế, trọng số đã học trên mỗi điểm lấy mẫu có thể khuếch đại hoặc triệt tiêu ảnh hưởng của nó, cải thiện độ chính xác.
Tại sao các phép tích chập có thể biến dạng lại đặc biệt hữu ích cho các vật thể có hình dạng không đều?
Bằng cách uốn cong lưới lấy mẫu, trường tiếp nhận hiệu quả sẽ thẳng hàng với hình dạng của đối tượng thay vì hình vuông cứng nhắc.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này