Tiếp theoHướng dẫn tiếp theo
Giảm dần độ dốc ngẫu nhiên với động lượng
Nguyên tắc cơ bản
HƯỚNG DẪN cơ bản
Bỏ học và chính quy hóa ngẫu nhiên
Dropout là một thủ thuật chính quy hóa, tắt ngẫu nhiên một phần nơ-ron trong mỗi bước huấn luyện, buộc mạng phải xây dựng các biểu diễn mạnh mẽ, dư thừa.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó đã trở thành một trong những kỹ thuật có ảnh hưởng nhất để chống lại việc trang bị quá mức trong học sâu.
Lặn sâu
Được nhóm của Hinton giới thiệu vào khoảng năm 2012, tính năng bỏ học giải quyết điểm yếu chính của các mạng lớn: các nơ-ron có thể cùng thích ứng, học cách sửa lỗi của nhau theo những cách chỉ hoạt động trên dữ liệu huấn luyện. Trong mỗi lần chuyển tiếp trong quá trình đào tạo, việc bỏ học sẽ đặt ngẫu nhiên đầu ra của mỗi nơ-ron về 0 với xác suất p nào đó (thường là 0,5 trong các lớp dày đặc). Bởi vì bất kỳ nơ-ron nào cũng có thể biến mất nên mạng không thể dựa vào các mối quan hệ hợp tác mong manh và phải truyền bá thông tin hữu ích trên nhiều đơn vị. Điều này hoạt động giống như việc huấn luyện một tập hợp lớn các mạng lưới mỏng có chức năng chia sẻ trọng số. Tại thời điểm thử nghiệm, tính năng bỏ qua bị tắt và toàn bộ mạng được sử dụng, với các kích hoạt được điều chỉnh theo tỷ lệ để kết quả đầu ra mong đợi phù hợp với quá trình đào tạo. Kết quả thường là khái quát hóa tốt hơn nhưng phải đào tạo lâu hơn một chút.
Triển khai trong thế giới thực
Thêm lớp Dropout với p khoảng 0,5 giữa các lớp dày đặc của trình phân loại hình ảnh hoặc văn bản trong PyTorch hoặc Keras
Các mô hình biến áp áp dụng tính năng bỏ học đối với trọng số chú ý và kích hoạt chuyển tiếp nguồn cấp dữ liệu trong quá trình đào tạo trước
Bỏ học ở Monte Carlo, trong đó việc bỏ học vẫn tiếp tục suy luận để tạo ra các ước tính không chắc chắn cho các dự đoán quan trọng về y tế hoặc an toàn
Độ sâu ngẫu nhiên (DropPath) bỏ qua ngẫu nhiên các khối còn lại để thường xuyên hóa các mạng rất sâu như ResNets và biến áp tầm nhìn
Tương lai của việc bỏ học và chính quy hóa ngẫu nhiên
Trong các mạng thị giác tích chập, việc chuẩn hóa hàng loạt đã thay thế phần lớn việc loại bỏ tiêu chuẩn, nhưng các biến thể phát triển mạnh ở những nơi khác: máy biến áp áp dụng loại bỏ cho các lớp chú ý và chuyển tiếp nguồn cấp dữ liệu, còn DropPath (độ sâu ngẫu nhiên) loại bỏ toàn bộ khối còn lại. Việc bỏ học Monte Carlo, giúp giữ cho việc bỏ học hoạt động khi suy luận, được sử dụng để ước tính độ không đảm bảo của mô hình. Mong đợi việc chính quy hóa ngẫu nhiên vẫn là một bộ công cụ linh hoạt, được điều chỉnh cho phù hợp với từng kiến trúc thay vì một công thức cố định duy nhất.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu về nơi hỗ trợ Dropout và Stochastic Regularization cũng như nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Dropout and Stochastic Regularization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Chính quy hóa bỏ học và ngẫu nhiên là gì?
Dropout là một thủ thuật chính quy hóa, tắt ngẫu nhiên một phần nơ-ron trong mỗi bước huấn luyện, buộc mạng phải xây dựng các biểu diễn mạnh mẽ, dư thừa. Nó đã trở thành một trong những kỹ thuật có ảnh hưởng nhất để chống lại việc trang bị quá mức trong học sâu.
Bỏ học làm gì trong quá trình đào tạo?
Việc bỏ học sẽ tạo ngẫu nhiên mỗi nơ-ron với xác suất p trong quá trình huấn luyện, do đó, mỗi bước sẽ sử dụng một mạng con mỏng khác nhau.
Tại sao việc bỏ học lại cải thiện khả năng khái quát hóa?
Bằng cách loại bỏ ngẫu nhiên các đơn vị, việc bỏ học sẽ ngăn các tế bào thần kinh hình thành các mối quan hệ hợp tác mong manh chỉ hoạt động trên dữ liệu huấn luyện, cải thiện độ mạnh mẽ.
Điều gì xảy ra với việc bỏ học tại thời điểm kiểm tra (suy luận)?
Khi suy luận, toàn bộ mạng sẽ chạy với tình trạng bỏ học bị vô hiệu hóa và các kích hoạt được điều chỉnh theo tỷ lệ để kết quả đầu ra dự kiến phù hợp với phân bổ đào tạo.
Tỷ lệ bỏ học p = 0,5 trong một lớp có ý nghĩa gần đúng trong quá trình đào tạo?
Với p = 0,5, mỗi nơ-ron có 50% khả năng bị đưa về 0, do đó, trung bình khoảng một nửa bị loại bỏ trong mỗi lần chuyển tiếp.
Bỏ học thường được mô tả là gần đúng là gì?
Lấy mẫu một mạng con khác nhau, mỗi bước gần đúng với mức trung bình trên một số lượng mạng có trọng số chia sẻ theo cấp số nhân, một dạng kết hợp giá rẻ.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này