Bỏ học và chính quy hóa ngẫu nhiên
Dropout là một thủ thuật chính quy hóa, tắt ngẫu nhiên một phần nơ-ron trong mỗi bước huấn luyện, buộc mạng phải xây dựng các biểu diễn mạnh mẽ, dư thừa.
Tổng quan
Nó đã trở thành một trong những kỹ thuật có ảnh hưởng nhất để chống lại việc trang bị quá mức trong học sâu.
Lặn sâu
Được nhóm của Hinton giới thiệu vào khoảng năm 2012, tính năng bỏ học giải quyết điểm yếu chính của các mạng lớn: các nơ-ron có thể cùng thích ứng, học cách sửa lỗi của nhau theo những cách chỉ hoạt động trên dữ liệu huấn luyện. Trong mỗi lần chuyển tiếp trong quá trình đào tạo, việc bỏ học sẽ đặt ngẫu nhiên đầu ra của mỗi nơ-ron về 0 với xác suất p nào đó (thường là 0,5 trong các lớp dày đặc). Bởi vì bất kỳ nơ-ron nào cũng có thể biến mất nên mạng không thể dựa vào các mối quan hệ hợp tác mong manh và phải truyền bá thông tin hữu ích trên nhiều đơn vị. Điều này hoạt động giống như việc huấn luyện một tập hợp lớn các mạng lưới mỏng có chức năng chia sẻ trọng số. Tại thời điểm thử nghiệm, tính năng bỏ qua bị tắt và toàn bộ mạng được sử dụng, với các kích hoạt được điều chỉnh theo tỷ lệ để kết quả đầu ra mong đợi phù hợp với quá trình đào tạo. Kết quả thường là khái quát hóa tốt hơn nhưng phải đào tạo lâu hơn một chút.
Hiểu biết kỹ thuật
Trong quá trình đào tạo, mỗi đơn vị được giữ với xác suất (1 trừ p) thông qua mặt nạ nhị phân ngẫu nhiên, do đó các mạng con khác nhau được lấy mẫu mỗi đợt. Các khung hiện đại sử dụng tỷ lệ bỏ học ngược: các lần kích hoạt còn sót lại được chia cho (1 trừ p) tại thời điểm đào tạo, do đó không cần chia tỷ lệ khi suy luận. Tính ngẫu nhiên này tạo ra tiếng ồn làm cản trở việc đồng thích ứng và lấy giá trị trung bình gần đúng trên một số mạng con có trọng số chung theo cấp số nhân, một hình thức tập hợp rẻ tiền.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc bỏ học và chính quy hóa ngẫu nhiên
Trong các mạng thị giác tích chập, việc chuẩn hóa hàng loạt đã thay thế phần lớn việc loại bỏ tiêu chuẩn, nhưng các biến thể phát triển mạnh ở những nơi khác: máy biến áp áp dụng loại bỏ cho các lớp chú ý và chuyển tiếp nguồn cấp dữ liệu, còn DropPath (độ sâu ngẫu nhiên) loại bỏ toàn bộ khối còn lại. Việc bỏ học Monte Carlo, giúp giữ cho việc bỏ học hoạt động khi suy luận, được sử dụng để ước tính độ không đảm bảo của mô hình. Mong đợi việc chính quy hóa ngẫu nhiên vẫn là một bộ công cụ linh hoạt, được điều chỉnh cho phù hợp với từng kiến trúc thay vì một công thức cố định duy nhất.
Triển khai trong thế giới thực
Thêm lớp Dropout với p khoảng 0,5 giữa các lớp dày đặc của trình phân loại hình ảnh hoặc văn bản trong PyTorch hoặc Keras
Các mô hình biến áp áp dụng tính năng bỏ học đối với trọng số chú ý và kích hoạt chuyển tiếp nguồn cấp dữ liệu trong quá trình đào tạo trước
Bỏ học ở Monte Carlo, trong đó việc bỏ học vẫn tiếp tục suy luận để tạo ra các ước tính không chắc chắn cho các dự đoán quan trọng về y tế hoặc an toàn
Độ sâu ngẫu nhiên (DropPath) bỏ qua ngẫu nhiên các khối còn lại để thường xuyên hóa các mạng rất sâu như ResNets và biến áp tầm nhìn
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu về nơi hỗ trợ Dropout và Stochastic Regularization cũng như nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dropout and Stochastic Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Giảm dần độ dốc ngẫu nhiên với động lượng
Câu hỏi thường gặp
Chính quy hóa bỏ học và ngẫu nhiên là gì?
Dropout là một thủ thuật chính quy hóa, tắt ngẫu nhiên một phần nơ-ron trong mỗi bước huấn luyện, buộc mạng phải xây dựng các biểu diễn mạnh mẽ, dư thừa. Nó đã trở thành một trong những kỹ thuật có ảnh hưởng nhất để chống lại việc trang bị quá mức trong học sâu.
Bỏ học làm gì trong quá trình đào tạo?
Việc bỏ học sẽ tạo ngẫu nhiên mỗi nơ-ron với xác suất p trong quá trình huấn luyện, do đó, mỗi bước sẽ sử dụng một mạng con mỏng khác nhau.
Tại sao việc bỏ học lại cải thiện khả năng khái quát hóa?
Bằng cách loại bỏ ngẫu nhiên các đơn vị, việc bỏ học sẽ ngăn các tế bào thần kinh hình thành các mối quan hệ hợp tác mong manh chỉ hoạt động trên dữ liệu huấn luyện, cải thiện độ mạnh mẽ.
Điều gì xảy ra với việc bỏ học tại thời điểm kiểm tra (suy luận)?
Khi suy luận, toàn bộ mạng sẽ chạy với tình trạng bỏ học bị vô hiệu hóa và các kích hoạt được điều chỉnh theo tỷ lệ để kết quả đầu ra dự kiến phù hợp với phân bổ đào tạo.
Tỷ lệ bỏ học p = 0,5 trong một lớp có ý nghĩa gần đúng trong quá trình đào tạo?
Với p = 0,5, mỗi nơ-ron có 50% khả năng bị đưa về 0, do đó, trung bình khoảng một nửa bị loại bỏ trong mỗi lần chuyển tiếp.
Bỏ học thường được mô tả là gần đúng là gì?
Lấy mẫu một mạng con khác nhau, mỗi bước gần đúng với mức trung bình trên một số lượng mạng có trọng số chia sẻ theo cấp số nhân, một dạng kết hợp giá rẻ.