Chính quy hóa
Chính quy hóa là một tập hợp các kỹ thuật cố tình hạn chế một mô hình để nó khái quát hóa dữ liệu mới thay vì ghi nhớ tập huấn luyện.
Tổng quan
It is the main toolkit for fighting overfitting.
Lặn sâu
Nếu không được chọn, một mô hình linh hoạt sẽ tự xoắn để phù hợp với mọi điểm trong dữ liệu huấn luyện, bao gồm cả nhiễu. Việc chính quy hóa đẩy lùi bằng cách thêm một hình phạt hoặc ràng buộc nhằm hỗ trợ các giải pháp đơn giản hơn. Các dạng phổ biến nhất thêm một thuật ngữ vào hàm mất mát dựa trên kích thước trọng số của mô hình. Chính quy hóa L2 (giảm trọng số) xử lý các trọng số lớn một cách trơn tru, thu nhỏ chúng về 0 và tạo ra các mô hình mượt mà hơn. Việc chính quy hóa L1 sẽ xử phạt giá trị tuyệt đối của các trọng số và có thể đẩy một số trọng số về 0, giúp lựa chọn một cách hiệu quả một tập hợp con các tính năng. Ngoài các hình phạt về trọng lượng, việc bỏ học sẽ tắt ngẫu nhiên các nơ-ron trong quá trình đào tạo, dừng sớm sẽ tạm dừng quá trình đào tạo trước khi trang bị quá mức và tính năng tăng cường dữ liệu sẽ mở rộng tập huấn luyện hiệu quả. Mỗi giao dịch một chút độ chính xác đào tạo để có hiệu suất trong thế giới thực tốt hơn nhiều.
Hiểu biết kỹ thuật
Hầu hết việc chính quy hóa sẽ định hình lại mục tiêu mà trình tối ưu hóa giảm thiểu. Thay vì chỉ giảm thiểu lỗi dự đoán, bạn giảm thiểu lỗi cộng với lambda nhân với hình phạt ở mức tạ, trong đó lambda kiểm soát sức mạnh. L2 cộng tổng bình phương của các trọng số, khuyến khích nhiều trọng số nhỏ; L1 cộng tổng trọng số tuyệt đối, khuyến khích độ thưa thớt với các số 0 chính xác. Dropout hoạt động theo cách khác: bằng cách kích hoạt ngẫu nhiên về 0 ở mỗi bước, nó ngăn không cho các nơ-ron đồng thích ứng và đào tạo gần đúng một tập hợp các mạng con. Tất cả những điều này làm giảm phương sai với cái giá phải trả là độ lệch tăng nhẹ.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của chính quy hóa
Các hình phạt rõ ràng như L2 và bỏ học vẫn là tiêu chuẩn, nhưng sự chú ý đang chuyển sang chính quy hóa ngầm, cách các trình tối ưu hóa như giảm độ dốc ngẫu nhiên lặng lẽ thiên vị các mô hình lớn hướng tới các giải pháp có thể khái quát hóa ngay cả khi không có hình phạt bổ sung. Các kỹ thuật như làm mịn nhãn, trộn lẫn và tăng cường dữ liệu mạnh mẽ hơn ngày càng trở thành trọng tâm trong việc đào tạo các mô hình ngôn ngữ và tầm nhìn lớn. Mong đợi nhiều nghiên cứu hơn về lý do tại sao các mạng được tham số hóa quá mức lại chống lại việc trang bị quá mức và về các phương pháp thích ứng giúp tự động điều chỉnh cường độ chính quy hóa trong quá trình đào tạo thay vì dựa vào tìm kiếm thủ công.
Triển khai trong thế giới thực
Thêm sự suy giảm trọng số L2 vào bộ phân loại hình ảnh sâu để nó khái quát hóa từ hàng nghìn bức ảnh huấn luyện đến những bức ảnh không nhìn thấy được.
Sử dụng chính quy L1 trong mô hình gen để tự động chọn một số gen thực sự dự đoán kết quả trong số hàng nghìn gen.
Áp dụng bỏ học trong mạng đề xuất để nó không phụ thuộc quá nhiều vào bất kỳ tín hiệu người dùng nào.
Dừng đào tạo sớm khi tổn thất xác thực không còn được cải thiện, mặc dù tổn thất đào tạo có thể tiếp tục giảm.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi Chính quy hóa hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Giảm cân và điều chỉnh L2
Câu hỏi thường gặp
What is Regularization?
Chính quy hóa là một tập hợp các kỹ thuật cố tình hạn chế một mô hình để nó khái quát hóa dữ liệu mới thay vì ghi nhớ tập huấn luyện. Đây là bộ công cụ chính để chống lại việc trang bị quá mức.
Mục tiêu chính của việc chính quy hóa là gì?
Việc chính quy hóa cố tình hạn chế một mô hình nhằm ngăn cản việc ghi nhớ dữ liệu huấn luyện, cải thiện hiệu suất trên các ví dụ chưa được nhìn thấy.
Kỹ thuật chính quy hóa nào có nhiều khả năng đưa một số trọng số về 0 nhất, giúp lựa chọn các tính năng một cách hiệu quả?
L1 phạt giá trị tuyệt đối của các trọng số, có xu hướng đẩy các trọng số ít hữu ích hơn về chính xác bằng 0, thực hiện lựa chọn tính năng tự động. L2 thu nhỏ trọng lượng một cách trơn tru nhưng hiếm khi chính xác về 0.
Làm thế nào để việc bỏ học thường xuyên hóa mạng lưới thần kinh trong quá trình đào tạo?
Việc bỏ học ngẫu nhiên sẽ loại bỏ một phần kích hoạt trong mỗi bước huấn luyện, ngăn không cho các nơ-ron phụ thuộc quá nhiều vào nhau và xấp xỉ một tập hợp các mạng con.
Trong sự mất mát chính quy 'lỗi + lambda × hình phạt', việc tăng lambda có tác dụng gì?
Lambda kiểm soát cường độ chính quy hóa. Lambda lớn hơn mang lại nhiều ảnh hưởng hơn cho hình phạt, giảm trọng lượng mạnh mẽ hơn đối với các mô hình đơn giản hơn.
Tại sao việc dừng sớm có thể được coi là một hình thức điều chỉnh?
Việc dừng khi hiệu suất xác thực ngừng cải thiện sẽ ngăn mô hình tiếp tục chuyển sang chế độ ghi nhớ nhiễu, giống như các bộ điều chỉnh khác hạn chế độ phức tạp.