Mạng lưới kim tự tháp đặc trưng
Mạng Kim tự tháp Tính năng (FPN) cho phép máy dò phát hiện các vật thể ở các kích thước cực kỳ khác nhau bằng cách xây dựng một 'kim tự tháp' nhiều tính năng với giá rẻ.
Tổng quan
Đó là lý do các máy dò hiện đại phát hiện cả một người đi bộ nhỏ xa và một chiếc xe tải lớn gần đó trong cùng một hình ảnh.
Lặn sâu
Các đối tượng trong hình ảnh xuất hiện ở nhiều tỷ lệ và một bản đồ đặc trưng duy nhất gặp khó khăn trong việc xử lý tất cả chúng. Các phương pháp cũ hơn đã xây dựng kim tự tháp hình ảnh bằng cách thay đổi kích thước ảnh nhiều lần và chạy mạng trên mỗi bản sao, tốc độ này rất chậm. FPN, được giới thiệu bởi Lin và cộng sự. vào năm 2017, thay vào đó, hãy sử dụng lại kim tự tháp tự nhiên đã có trong mạng tích chập. Một xương sống như ResNet tạo ra các bản đồ đặc trưng ngày càng nhỏ hơn và có ngữ nghĩa sâu hơn trong mạng. FPN bổ sung một lộ trình từ trên xuống: nó lấy mẫu các tính năng sâu, giàu ngữ nghĩa và hợp nhất chúng thông qua các kết nối bên với các tính năng nông, có độ phân giải cao. Kết quả là một tập hợp các bản đồ đặc trưng mạnh mẽ về mặt ngữ nghĩa nhưng vẫn giữ được chi tiết không gian tốt, cải thiện đáng kể khả năng phát hiện vật thể nhỏ mà hầu như không mất thêm chi phí.
Hiểu biết kỹ thuật
FPN có đường dẫn từ dưới lên (xương sống) và đường dẫn từ trên xuống. Mỗi cấp độ từ trên xuống được lấy mẫu lên gấp 2 lần (láng giềng gần nhất) và được thêm phần tử khôn ngoan vào bản đồ tính năng bên được tích hợp 1x1 có độ phân giải phù hợp. Sau đó, tích chập 3x3 sẽ làm mịn từng bản đồ đã hợp nhất để giảm hiện tượng răng cưa. Điều này tạo ra các cấp độ P2-P5 với số lượng kênh cố định (thường là 256), mỗi cấp độ có nhiệm vụ phát hiện các đối tượng thuộc phạm vi tỷ lệ cụ thể.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của mạng lưới kim tự tháp tính năng
Thiết kế từ trên xuống của FPN đã tạo ra nhiều thiết bị kế thừa: PANet bổ sung đường dẫn từ dưới lên, BiFPN (được sử dụng trong EffientDet) giúp quá trình kết hợp có thể học được và hai chiều với các kết nối có trọng số và NAS-FPN tự động tìm kiếm cấu trúc liên kết kết hợp. Các máy dò biến áp như DETR vượt qua các kim tự tháp rõ ràng, nhưng phản ứng tổng hợp đa quy mô vẫn là trung tâm. Mong đợi những ý tưởng kiểu FPN sẽ tồn tại bên trong các máy biến áp tầm nhìn và máy dò trên thiết bị hiệu quả, ngày càng có trọng số thang đo thích ứng, có thể học được thay vì các kết nối cố định.
Triển khai trong thế giới thực
Phát hiện đồng thời những người đi bộ nhỏ, ở xa và các phương tiện lớn ở gần trong ngăn nhận biết xe tự lái
Hỗ trợ phân đoạn phiên bản trong Mask R-CNN, trong đó FPN cung cấp các tính năng đa quy mô cho đề xuất khu vực và đầu mặt nạ
Phát hiện các khối u nhỏ bên cạnh các cơ quan lớn trong đường ống phát hiện hình ảnh y tế
Tìm các vật thể có kích thước khác nhau trong hình ảnh vệ tinh và trên không, từ những chiếc thuyền nhỏ đến các tòa nhà lớn
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Feature Pyramid Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mạng biến áp không gian
Câu hỏi thường gặp
Mạng Pyramid Tính Năng là gì?
Mạng Kim tự tháp Tính năng (FPN) cho phép máy dò phát hiện các vật thể ở các kích thước cực kỳ khác nhau bằng cách xây dựng một 'kim tự tháp' nhiều tính năng với giá rẻ. Chúng là lý do khiến các máy dò hiện đại tìm thấy cả một người đi bộ nhỏ bé ở xa và một chiếc xe tải khổng lồ gần đó trong cùng một hình ảnh.
Mạng Kim tự tháp Tính năng chủ yếu giải quyết vấn đề cốt lõi nào?
FPN xây dựng biểu diễn tính năng đa tỷ lệ để máy dò có thể xử lý các vật thể từ nhỏ đến rất lớn chỉ trong một lần truyền.
Trong FPN, vai trò của con đường từ trên xuống là gì?
Con đường từ trên xuống lấy mẫu các đặc điểm ngữ nghĩa sâu sắc và hợp nhất chúng với các bản đồ nông hơn, có độ phân giải cao để mọi cấp độ vừa chi tiết vừa mạnh mẽ về mặt ngữ nghĩa.
Các kết nối bên thường được kết hợp như thế nào với các tính năng được lấy mẫu từ trên xuống?
Tích chập 1x1 điều chỉnh số lượng kênh của bản đồ đối tượng bên, sau đó được thêm từng phần tử vào tính năng từ trên xuống được lấy mẫu gấp 2 lần.
Tại sao tích chập 3x3 được áp dụng cho từng bản đồ tính năng được hợp nhất trong FPN?
Sau khi bổ sung theo từng phần tử, tích chập 3x3 sẽ giảm hiện tượng răng cưa được tạo ra bằng cách lấy mẫu lại, tạo ra các mức kim tự tháp rõ ràng hơn.
Kiến trúc nào sau này đã mở rộng FPN bằng phản ứng tổng hợp hai chiều có trọng số, có thể học được?
BiFPN, được giới thiệu với EfficiencyDet, tạo ra sự kết hợp tính năng hai chiều và tìm hiểu các trọng số về mức độ đóng góp của mỗi đầu vào.