Mạng dư
Mạng dư (ResNet) là mạng thần kinh sâu có thêm chức năng 'bỏ qua kết nối' cho phép các lớp học những điều chỉnh nhỏ thay vì chuyển đổi hoàn toàn.
Tổng quan
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Lặn sâu
Trước ResNets, việc xếp chồng nhiều lớp khiến mạng hoạt động kém hơn, ngay cả trên dữ liệu huấn luyện, một vấn đề được gọi là suy thoái. Vào năm 2015, nhà nghiên cứu Kaiming He và các đồng nghiệp của Microsoft đã giới thiệu khối dư: thay vì yêu cầu một chồng lớp tạo ra trực tiếp đầu ra H(x), họ cho nó học phần dư F(x) = H(x) - x, sau đó thêm đầu vào x ban đầu trở lại thông qua một phím tắt. Nếu một lớp không cần thiết, nó có thể học cách không làm gì cả (F(x) = 0). ResNet-152 đã giành chiến thắng trong cuộc thi ImageNet năm 2015 với sai số top 5 khoảng 3,6%, đánh bại các ước tính ở cấp độ con người và kiến trúc của nó đã trở thành xương sống nền tảng cho việc phát hiện, phân đoạn và chụp ảnh y tế.
Hiểu biết kỹ thuật
Kết nối bỏ qua biến công việc của mỗi khối thành y = F(x) + x. Trong quá trình lan truyền ngược, độ dốc chảy qua lối tắt nhận dạng không thay đổi, do đó, nó không thể biến mất về gần 0 ngay cả trên hàng trăm lớp. Điều này giúp ngăn xếp sâu có thể huấn luyện được. Phím tắt nhận dạng không thêm tham số bổ sung; chỉ khi kích thước đầu vào và đầu ra khác nhau thì phép chiếu nhỏ (tích chập 1x1) mới điều chỉnh kích thước trước khi bổ sung.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của mạng dư
Các kết nối còn lại hiện gần như phổ biến: Máy biến áp, mô hình khuếch tán và mô hình ngôn ngữ lớn đều sử dụng chúng để ổn định việc đào tạo các ngăn xếp rất sâu. Nghiên cứu tiếp tục về các biến thể như ResNets kích hoạt trước, các đường dẫn được nhóm của ResNeXt và kết hợp các ý tưởng còn lại với đào tạo không cần chuẩn hóa. Mong đợi nguyên tắc bỏ qua kết nối cốt lõi sẽ tồn tại như một khối xây dựng mặc định, ngay cả khi các kiến trúc xung quanh chuyển từ các cấu trúc phức tạp thuần túy sang các thiết kế chú ý và kết hợp.
Triển khai trong thế giới thực
Xương sống phân loại ImageNet (ResNet-50, ResNet-101) được sử dụng làm công cụ trích xuất tính năng được đào tạo trước để học chuyển giao
Phát hiện khối u và tổn thương trong hình ảnh X quang và bệnh lý bằng bộ mã hóa dựa trên ResNet
Các khung phân đoạn đối tượng và phát hiện đối tượng như Faster R-CNN và Mask R-CNN sử dụng xương sống ResNet
Đường dẫn nhận thức tự lái giúp phân loại người đi bộ, phương tiện và biển báo từ khung camera
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mạng lưới kim tự tháp đặc trưng
Câu hỏi thường gặp
What is Residual Networks?
Mạng dư (ResNet) là mạng thần kinh sâu có thêm chức năng 'bỏ qua kết nối' cho phép các lớp học những điều chỉnh nhỏ thay vì chuyển đổi hoàn toàn. Thủ thuật đơn giản này giúp có thể đào tạo mạng sâu hàng trăm lớp, tạo ra bước nhảy vọt về độ chính xác nhận dạng hình ảnh.
Các kết nối còn lại đã giải quyết cụ thể vấn đề gì?
Trước ResNets, việc thêm nhiều lớp hơn khiến độ chính xác bị giảm ngay cả trên dữ liệu huấn luyện. Bỏ qua các kết nối đã khắc phục điều này bằng cách làm cho các lớp dễ dàng tối ưu hóa.
Khối dư thực sự tính toán như đầu ra của nó là gì?
Khối dư xuất ra y = F(x) + x, thêm phần dư đã học vào đầu vào thông qua kết nối bỏ qua.
Tại sao bỏ qua kết nối lại giúp gradient trong quá trình đào tạo?
Phím tắt nhận dạng cung cấp một đường dẫn trực tiếp để độ dốc chảy ngược không thay đổi, ngăn chặn vấn đề độ dốc biến mất trong các ngăn xếp rất sâu.
Mô hình ResNet chiến thắng năm 2015 có khoảng bao nhiêu lớp?
ResNet-152, với 152 lớp, đã giành chiến thắng trong cuộc thi ImageNet 2015, chứng minh rằng các mạng rất sâu giờ đây có thể được đào tạo thành công.
Nếu các lớp của khối dư học F(x) = 0 thì khối đó sẽ làm gì?
Khi F(x) = 0, đầu ra chỉ là x, do đó khối trở thành ánh xạ nhận dạng. Điều này làm cho các lớp bổ sung trở nên vô hại nếu chúng không cần thiết.