Lan truyền ngược
Lan truyền ngược là thuật toán cho phép mạng nơ-ron học hỏi từ các lỗi của nó bằng cách tính toán hiệu quả mỗi trọng số góp phần gây ra lỗi.
Tổng quan
Nó là động lực đứng sau hầu hết các chương trình đào tạo học sâu hiện đại.
Lặn sâu
Khi mạng nơ-ron đưa ra dự đoán, nó sẽ tạo ra một số lỗi được đo bằng hàm mất mát. Lan truyền ngược trả lời một câu hỏi quan trọng: mỗi trọng số trong số hàng triệu trọng số nên thay đổi như thế nào để giảm lỗi đó? Nó thực hiện điều này bằng cách áp dụng quy tắc dây chuyền từ phép tính, thực hiện ngược từ lớp đầu ra sang lớp đầu vào. Tín hiệu lỗi được truyền trở lại mạng và ở mỗi lớp, thuật toán sẽ tính toán độ dốc, hướng và lượng mà mỗi trọng số sẽ thay đổi. Phát hiện quan trọng được Rumelhart, Hinton và Williams phổ biến vào năm 1986 là các kết quả trung gian có thể được sử dụng lại, giúp việc tính toán trở nên hiệu quả hơn. Nếu không có lan truyền ngược, việc đào tạo một mạng sâu với hàng tỷ tham số sẽ trở nên vô vọng về mặt tính toán.
Hiểu biết kỹ thuật
Lan truyền ngược hoạt động theo hai lần. Chuyển tiếp tính toán dự đoán và lưu các kích hoạt trung gian. Quá trình lùi áp dụng quy tắc dây chuyền: nó nhân các đạo hàm cục bộ từng lớp, truyền độ dốc của tổn thất đối với từng trọng số. Điều quan trọng là nó lưu trữ và tái sử dụng các dẫn xuất từng phần thay vì tính toán lại chúng, do đó chi phí vẫn tỷ lệ thuận với một lần chuyển tiếp. Độ dốc kết quả sau đó được chuyển đến một trình tối ưu hóa như độ dốc giảm dần để cập nhật trọng số.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của truyền ngược
Lan truyền ngược vẫn là xương sống của học sâu, nhưng các nhà nghiên cứu đang tích cực thăm dò các giới hạn của nó. Chi phí bộ nhớ của nó tăng lên theo độ sâu của mạng, thúc đẩy các thủ thuật như điểm kiểm tra độ dốc cho các mô hình lớn. Các lựa chọn thay thế lấy cảm hứng từ mặt sinh học như học tập chuyển tiếp và liên kết phản hồi nhằm mục đích loại bỏ sự phụ thuộc của backprop vào trọng số đối xứng và tín hiệu lỗi tổng thể. Hiện tại, không có phương pháp nào sánh được với hiệu quả của nó trên quy mô lớn, vì vậy, dự kiến phương pháp lan truyền ngược sẽ hỗ trợ các mô hình biên giới trong nhiều năm trong khi các phương pháp thay thế này hoàn thiện trong phòng thí nghiệm nghiên cứu.
Triển khai trong thế giới thực
Huấn luyện bộ phân loại hình ảnh để nó dần dần điều chỉnh các bộ lọc để nhận biết mèo và chó sau mỗi loạt ảnh
Tinh chỉnh mô hình ngôn ngữ lớn trên tài liệu của công ty bằng cách truyền ngược lỗi của các từ tiếp theo được dự đoán
Hướng dẫn mạng lưới thị giác của ô tô tự lái để giảm lỗi dự đoán góc lái trong quá trình mô phỏng
Cập nhật phần nhúng của mô hình đề xuất để dự đoán tốt hơn những phim nào người dùng sẽ nhấp vào
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi lan truyền ngược hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Backpropagation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Hàm mất mát
Câu hỏi thường gặp
Backpropagation là gì?
Lan truyền ngược là thuật toán cho phép mạng nơ-ron học hỏi từ các lỗi của nó bằng cách tính toán hiệu quả mỗi trọng số góp phần gây ra lỗi. Nó là động cơ đằng sau hầu hết các chương trình đào tạo deep learning hiện đại.
Mục đích chính của lan truyền ngược là gì?
Lan truyền ngược tính toán độ dốc của tổn thất theo từng trọng số, cho trình tối ưu hóa biết cách điều chỉnh chúng để giảm lỗi.
Quy tắc toán học nào là trọng tâm của lan truyền ngược?
Lan truyền ngược áp dụng quy tắc dây chuyền để kết hợp các đạo hàm cục bộ giữa các lớp, truyền các gradient lỗi ngược qua mạng.
Tại sao lan truyền ngược được coi là hiệu quả về mặt tính toán?
Bằng cách lưu vào bộ nhớ đệm các dẫn xuất từng phần và các kích hoạt từ lượt chuyển tiếp, lan truyền ngược tránh tính toán dư thừa, giữ chi phí gần bằng chi phí của một lượt chuyển tiếp.
Lan truyền ngược tính toán độ dốc theo thứ tự nào?
Cái tên đã nói lên tất cả: lỗi được truyền ngược, bắt đầu từ đầu ra và di chuyển về phía đầu vào, do đó độ dốc của mỗi lớp phụ thuộc vào lớp sau nó.
Lan truyền ngược tạo ra cái gì mà trình tối ưu hóa sau đó sử dụng?
Lan truyền ngược tạo ra độ dốc, mà trình tối ưu hóa như giảm độ dốc sử dụng để cập nhật trọng số theo hướng làm giảm tổn thất.