Mạng lưới đường cao tốc và bỏ qua kết nối
Bỏ qua kết nối cho phép thông tin vượt qua các lớp và mạng lưới đường cao tốc là phiên bản đầu tiên của ý tưởng này.
Tổng quan
They solve the problem of training very deep networks, which paved the way for ResNets and modern deep learning.
Lặn sâu
Trước khi bỏ qua các kết nối, việc xếp chồng nhiều lớp khiến mạng khó huấn luyện hơn chứ không phải tốt hơn vì độ dốc biến mất và tín hiệu bị suy giảm. Mạng lưới đường cao tốc, được giới thiệu vào năm 2015, đã bổ sung thêm các cổng đã học để kiểm soát lượng đầu vào của một lớp được chuyển đổi so với lượng được truyền thẳng qua, lấy cảm hứng từ cổng LSTM. Ngay sau đó, ResNets đã đơn giản hóa điều này thành kết nối dư, trong đó một lớp học hàm dư và đầu ra của nó được thêm vào đầu vào thông qua một phím tắt nhận dạng. Các phím tắt này tạo đường dẫn trực tiếp để độ dốc chảy ngược, giúp có thể huấn luyện mạng sâu hàng trăm hoặc thậm chí hàng nghìn lớp. Bỏ qua kết nối hiện xuất hiện ở mọi nơi, bao gồm U-Nets, DenseNets và máy biến áp.
Hiểu biết kỹ thuật
Khối dư tính toán đầu ra = F(x) + x, do đó mạng chỉ cần tìm hiểu F(x) dư thay vì ánh xạ đầy đủ. Trong quá trình lan truyền ngược, số hạng nhận dạng cộng tính chuyển các gradient qua các gradient biến mất không thay đổi, bước sang một bên. Mạng đường cao tốc khái quát hóa điều này bằng cổng biến đổi T và cổng mang, đầu ra = F(x)*T(x) + x*(1 - T(x)), trong đó T được học và nằm trong khoảng từ 0 đến 1.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của Mạng lưới Đường cao tốc và Bỏ qua Kết nối
Bỏ qua kết nối hiện là một khối xây dựng mặc định chứ không phải là một thủ thuật tùy chọn. Mọi máy biến áp đều sử dụng các kết nối dư xung quanh các lớp con chú ý và chuyển tiếp nguồn cấp dữ liệu của nó, đồng thời chúng vẫn cần thiết trong các mô hình khuếch tán, Mạng U phân đoạn và mạng biểu đồ. Nghiên cứu khám phá vị trí chuẩn hóa tốt hơn, khả năng mở rộng quy mô có thể học được của các đường dẫn dư và các kiến trúc có thể đảo ngược giúp tính toán lại các kích hoạt để tiết kiệm bộ nhớ. Ý tưởng cốt lõi về việc bảo toàn tín hiệu theo độ sâu sẽ tiếp tục tồn tại khi các mô hình phát triển.
Triển khai trong thế giới thực
ResNet-50 và ResNet-152 sử dụng các phím tắt còn lại để huấn luyện các bộ phân loại hình ảnh cực sâu
Máy biến áp và mô hình ngôn ngữ lớn bao bọc các kết nối còn lại xung quanh các lớp chú ý và chuyển tiếp nguồn cấp dữ liệu
Kết nối bỏ qua U-Net truyền chi tiết không gian tốt từ bộ mã hóa đến bộ giải mã để phân đoạn hình ảnh y tế chính xác
DenseNet kết nối mỗi lớp với tất cả các lớp sau, khuyến khích tái sử dụng tính năng và giảm bớt dòng chuyển màu
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Highway Networks and Skip Connections quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mạng lưới Xiêm và mất ba lần
Câu hỏi thường gặp
What is Highway Networks and Skip Connections?
Bỏ qua kết nối cho phép thông tin vượt qua các lớp và mạng lưới đường cao tốc là phiên bản đầu tiên của ý tưởng này. Họ giải quyết vấn đề đào tạo các mạng rất sâu, mở đường cho ResNets và học sâu hiện đại.
Vấn đề cốt lõi nào mà việc bỏ qua kết nối giúp giải quyết trong các mạng rất sâu?
Bằng cách cung cấp các đường dẫn trực tiếp, bỏ qua các kết nối cho phép độ dốc và tín hiệu truyền qua các ngăn xếp sâu, giúp các mạng rất sâu có thể huấn luyện được.
Khối dư cơ bản tính toán những gì?
Khối dư thêm đầu vào x vào đầu ra được chuyển đổi F(x), do đó lớp chỉ học phần dư.
Điều gì đã truyền cảm hứng cho cơ chế cổng trong mạng lưới đường cao tốc?
Mạng lưới đường cao tốc đã mượn ý tưởng về các cổng đã học từ LSTM để kiểm soát lượng thông tin được chuyển đổi so với lượng thông tin được truyền qua.
Trong mạng lưới đường cao tốc, cổng biến đổi T(x) điều khiển cái gì?
Đầu ra là F(x)*T(x) + x*(1 - T(x)), do đó T quyết định sự cân bằng giữa chuyển đổi và mang đầu vào.
Kiến trúc hiện đại nào dựa vào các kết nối còn sót lại xung quanh các lớp con của nó?
Máy biến áp đặt các kết nối dư xung quanh cả lớp con chú ý và lớp con chuyển tiếp nguồn cấp dữ liệu của chúng như một thiết kế tiêu chuẩn.