Mạng viên nang
Mạng viên nang là một kiến trúc thần kinh nhóm các nơ-ron thành các 'viên nang' tạo ra các vectơ mã hóa cả việc liệu một đối tượng có tồn tại hay không và vị trí của nó (vị trí, hướng, tỷ lệ).
Tổng quan
Chúng nhằm khắc phục sự mù lõi trong các mạng tích chập tiêu chuẩn: mất dấu các mối quan hệ không gian giữa các phần.
Lặn sâu
Được đề xuất bởi Geoffrey Hinton, Sara Sabour và Nicholas Frosst vào năm 2017, mạng viên nang thay thế đầu ra nơ-ron vô hướng bằng một vectơ. Độ dài của vectơ biểu thị xác suất có một thực thể (như mắt hoặc mũi), trong khi hướng của nó mã hóa các tham số tư thế. Các viên nang cấp thấp hơn dự đoán vị trí của các viên nang cấp cao hơn thông qua ma trận chuyển đổi và một quy trình được gọi là định tuyến động theo thỏa thuận sẽ quyết định những dự đoán nào đáng tin cậy. Khi nhiều thành phần đồng ý trên cùng một tổng thể, việc định tuyến sẽ tăng cường kết nối đó. CapsNet ban đầu đã đạt được kết quả tốt trên MNIST và đặc biệt mạnh mẽ trong việc chồng chéo các chữ số và phép biến đổi affine, giải quyết 'vấn đề Picasso' trong đó CNN chấp nhận các đặc điểm khuôn mặt lộn xộn làm khuôn mặt hợp lệ.
Hiểu biết kỹ thuật
Cơ chế chính là tính phi tuyến 'bíu' làm co các vectơ ngắn về 0 và vectơ dài về độ dài một, do đó độ lớn của vectơ đọc dưới dạng xác suất. Sau đó, định tuyến động sẽ chạy một vài bước lặp của bước thỏa thuận có trọng số softmax: mỗi viên nang thấp hơn sẽ gửi dự đoán của nó lên và hệ số ghép nối sẽ tăng lên đối với các viên nang cao hơn có đầu ra phù hợp (thông qua tích số chấm) với dự đoán đó. Điều này thay thế việc tổng hợp tối đa, bảo toàn thông tin không gian chính xác thay vì loại bỏ nó.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của mạng Capsule
Mạng Capsule vẫn là một hướng nghiên cứu hơn là một tiêu chuẩn được triển khai, phần lớn là do định tuyến động tốn kém về mặt tính toán và có tỷ lệ kém đối với các hình ảnh lớn như ImageNet. Công việc sau đó đã khám phá định tuyến EM (Viên nang ma trận) và định tuyến dựa trên sự chú ý để nâng cao hiệu quả. Khi sự quan tâm đến sự tương đương, hiệu quả mẫu và các hệ thống phân cấp toàn bộ có thể diễn giải được ngày càng tăng, các ý tưởng viên nang tiếp tục ảnh hưởng đến nghiên cứu, bao gồm cả đề xuất GLOM sau này của Hinton, ngay cả khi Transformers thống trị tầm nhìn chính thống.
Triển khai trong thế giới thực
Phân loại các chữ số viết tay trên MNIST trong khi xây dựng lại đầu vào từ các vectơ viên nang, hiển thị các tham số tư thế có ý nghĩa.
Tách hai chữ số chồng chéo (tác vụ MultiMNIST) bằng cách phân đoạn pixel nào thuộc về thực thể nào.
Nghiên cứu hình ảnh y tế sử dụng viên nang để phát hiện các nốt phổi hoặc khối u não nơi mối quan hệ không gian một phần-toàn bộ rất quan trọng.
Nhận biết các đối tượng từ các quan điểm mới với ít ví dụ đào tạo hơn, tận dụng tính tương đương quan điểm tích hợp sẵn của kiến trúc.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mạng lưới đường cao tốc và bỏ qua kết nối
Câu hỏi thường gặp
Capsule Networks là gì?
Mạng viên nang là một kiến trúc thần kinh nhóm các nơ-ron thành các 'viên nang' tạo ra các vectơ mã hóa cả việc liệu một đối tượng có tồn tại hay không và vị trí của nó (vị trí, hướng, tỷ lệ). Họ nhằm mục đích khắc phục điểm mù cốt lõi trong các mạng tích chập tiêu chuẩn: mất dấu vết về mối quan hệ không gian giữa các bộ phận.
Trong mạng viên nang, LENGTH của vectơ đầu ra của viên nang biểu thị điều gì?
Độ dài (độ lớn) của vectơ mã hóa xác suất tồn tại của thực thể, trong khi hướng của vectơ mã hóa các tham số đặt ra như vị trí và góc quay.
Vấn đề gì với các CNN tiêu chuẩn là các mạng con nhộng được thiết kế đặc biệt để giải quyết?
CNN với tính năng tổng hợp tối đa sẽ loại bỏ các mối quan hệ không gian chính xác, do đó, một khuôn mặt có các đặc điểm bị đặt sai vị trí vẫn có thể đạt điểm cao. Đây là viên nang 'vấn đề Picasso' cố gắng khắc phục.
Tên của thuật toán quyết định viên nang cấp thấp hơn nào kết nối với viên nang cấp cao hơn nào?
Định tuyến động theo thỏa thuận lặp đi lặp lại tăng cường kết nối giữa các viên nang có dự đoán phù hợp với đầu ra của viên nang cao hơn.
Ai đã giới thiệu mạng con nhộng với tính năng định tuyến động vào năm 2017?
Bài báo 'Định tuyến động giữa các viên nang' năm 2017 được tác giả bởi Sara Sabour, Nicholas Frosst và Geoffrey Hinton.
Mục đích của chức năng 'bí' trong mạng con nhộng là gì?
Tính phi tuyến Squat thu nhỏ các vectơ ngắn về 0 và giới hạn các vectơ dài gần độ dài bằng 1, do đó độ lớn có thể được đọc dưới dạng xác suất trong khi hướng (tư thế) được giữ nguyên.