Giảm cân và điều chỉnh L2
Giảm trọng lượng là một kỹ thuật đơn giản, mạnh mẽ nhằm đẩy trọng lượng của mô hình về 0 trong quá trình huấn luyện, ngăn cản mô hình phụ thuộc quá nhiều vào bất kỳ tính năng đơn lẻ nào.
Tổng quan
It reduces overfitting and is one of the most widely used regularizers in deep learning.
Lặn sâu
Khi một mô hình huấn luyện, nó có thể xử lý nhiễu trong dữ liệu bằng cách tăng các trọng số lớn, được tinh chỉnh phù hợp hoàn hảo với tập huấn luyện nhưng có tính khái quát kém. Chính quy hóa L2 chống lại điều này bằng cách thêm một hình phạt tỷ lệ thuận với tổng trọng số bình phương của hàm mất mát. Trình tối ưu hóa hiện có hai mục tiêu: điều chỉnh dữ liệu và giữ trọng số nhỏ để giải quyết các giải pháp mượt mà hơn, mạnh mẽ hơn. Giảm trọng lượng là ý tưởng liên quan chặt chẽ đến việc thu nhỏ mọi trọng số xuống một phần nhỏ trên mỗi bước cập nhật. Với tính năng giảm độ dốc đơn giản, cả hai đều tương đương về mặt toán học, nhưng với các trình tối ưu hóa thích ứng như Adam thì chúng khác nhau, đó là lý do tại sao AdamW được giới thiệu để tách phân rã khỏi bản cập nhật dựa trên độ dốc và làm cho nó hoạt động chính xác.
Hiểu biết kỹ thuật
Chính quy hóa L2 cộng lambda nhân với tổng trọng số bình phương của tổn thất, do đó độ dốc của nó thêm một số hạng tỷ lệ với mỗi trọng số, kéo nó về 0. Thay vào đó, việc giảm trọng số được tách riêng sẽ nhân trực tiếp mỗi trọng số với một hệ số như (1 trừ learning_rate nhân lambda). Trong các phương pháp thích ứng, việc ghép L2 với tổn thất cho phép việc chia tỷ lệ theo tham số làm sai lệch hình phạt, do đó AdamW áp dụng độ co rút riêng biệt, khôi phục lực kéo đồng nhất dự kiến đối với các trọng lượng nhỏ hơn.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc giảm cân và điều chỉnh L2
Giảm trọng lượng vẫn là thành phần mặc định trong công thức đào tạo cho các mô hình ngôn ngữ lớn và máy biến đổi tầm nhìn, và AdamW hiện là trình tối ưu hóa tiêu chuẩn cho chúng. Nghiên cứu tiếp tục tìm hiểu xem sự phân rã tương tác như thế nào với lịch trình tốc độ học tập, các lớp chuẩn hóa và quy mô mô hình, vì cường độ hiệu quả của nó thay đổi khi các mô hình phát triển. Mong đợi điều chỉnh phân rã theo nguyên tắc hơn, có thể theo từng lớp hoặc theo lịch trình khi các nghiên cứu về quy luật mở rộng và tìm kiếm siêu tham số tự động hoàn thiện.
Triển khai trong thế giới thực
Thêm Weight_decay vào trình tối ưu hóa AdamW hoặc SGD của PyTorch khi đào tạo bộ phân loại hình ảnh để hạn chế trang bị quá mức
Điều chỉnh hệ số lambda trong hồi quy sườn núi, mô hình tuyến tính bị phạt L2 cổ điển, để ổn định các dự đoán về các đặc điểm tương quan
Các công thức huấn luyện trước mô hình ngôn ngữ lớn đặt ra mức giảm trọng số nhỏ (thường khoảng 0,1) cùng với lịch trình tốc độ học tập
Kết hợp giảm trọng lượng với tăng cường và loại bỏ dữ liệu để ngăn mô hình hình ảnh y tế nhỏ ghi nhớ các bản quét đào tạo hạn chế
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Ghi lại nơi Giảm cân và Chính quy hóa L2 hữu ích cũng như nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Weight Decay and L2 Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chính quy hóa
Câu hỏi thường gặp
What is Weight Decay and L2 Regularization?
Giảm trọng lượng là một kỹ thuật đơn giản, mạnh mẽ nhằm đẩy trọng lượng của mô hình về 0 trong quá trình huấn luyện, ngăn cản mô hình phụ thuộc quá nhiều vào bất kỳ tính năng đơn lẻ nào. Nó làm giảm việc trang bị quá mức và là một trong những công cụ điều chỉnh được sử dụng rộng rãi nhất trong học sâu.
Chính quy hóa L2 thêm gì vào hàm mất?
Chính quy hóa L2 cộng lambda nhân với tổng trọng số bình phương, xử phạt các trọng số lớn và khuyến khích các giải pháp nhỏ hơn, mượt mà hơn.
Vấn đề chính mà việc giảm cân giúp ngăn ngừa là gì?
Bằng cách giữ trọng số nhỏ, việc giảm trọng số sẽ ngăn cản mô hình điều chỉnh nhiễu, cải thiện khả năng khái quát hóa cho dữ liệu mới.
Sự phân rã trọng lượng đẩy trọng lượng của mô hình theo hướng nào?
Giảm dần trọng số làm giảm trọng số về 0 trong mỗi lần cập nhật, đó là lý do tại sao đôi khi nó được mô tả là 'giảm dần' trọng số.
Tại sao AdamW được giới thiệu?
Trong Adam, việc gấp L2 vào phần mất tương tác không tốt với việc chia tỷ lệ theo tham số; AdamW áp dụng phân rã riêng biệt để khôi phục lại độ co rút đồng đều như dự định.
Đối với việc giảm độ dốc ngẫu nhiên đơn giản, việc chuẩn hóa L2 và giảm trọng số có liên quan như thế nào?
Với SGD đơn giản, việc thêm hình phạt L2 vào khoản thua sẽ tạo ra bản cập nhật tương tự như việc giảm trọng số trực tiếp, do đó cả hai đều tương đương nhau.