Tiếp theoHướng dẫn tiếp theo
Chính quy hóa
Nguyên tắc cơ bản
HƯỚNG DẪN cơ bản
Giảm cân và điều chỉnh L2
Giảm trọng lượng là một kỹ thuật đơn giản, mạnh mẽ nhằm đẩy trọng lượng của mô hình về 0 trong quá trình huấn luyện, ngăn cản mô hình phụ thuộc quá nhiều vào bất kỳ tính năng đơn lẻ nào.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó làm giảm việc trang bị quá mức và là một trong những công cụ điều chỉnh được sử dụng rộng rãi nhất trong học sâu.
Lặn sâu
Khi một mô hình huấn luyện, nó có thể xử lý nhiễu trong dữ liệu bằng cách tăng các trọng số lớn, được tinh chỉnh phù hợp hoàn hảo với tập huấn luyện nhưng có tính khái quát kém. Chính quy hóa L2 chống lại điều này bằng cách thêm một hình phạt tỷ lệ thuận với tổng trọng số bình phương của hàm mất mát. Trình tối ưu hóa hiện có hai mục tiêu: điều chỉnh dữ liệu và giữ trọng số nhỏ để giải quyết các giải pháp mượt mà hơn, mạnh mẽ hơn. Giảm trọng lượng là ý tưởng liên quan chặt chẽ đến việc thu nhỏ mọi trọng số xuống một phần nhỏ trên mỗi bước cập nhật. Với tính năng giảm độ dốc đơn giản, cả hai đều tương đương về mặt toán học, nhưng với các trình tối ưu hóa thích ứng như Adam thì chúng khác nhau, đó là lý do tại sao AdamW được giới thiệu để tách phân rã khỏi bản cập nhật dựa trên độ dốc và làm cho nó hoạt động chính xác.
Triển khai trong thế giới thực
Thêm Weight_decay vào trình tối ưu hóa AdamW hoặc SGD của PyTorch khi đào tạo bộ phân loại hình ảnh để hạn chế trang bị quá mức
Điều chỉnh hệ số lambda trong hồi quy sườn núi, mô hình tuyến tính bị phạt L2 cổ điển, để ổn định các dự đoán về các đặc điểm tương quan
Các công thức huấn luyện trước mô hình ngôn ngữ lớn đặt ra mức giảm trọng số nhỏ (thường khoảng 0,1) cùng với lịch trình tốc độ học tập
Kết hợp giảm trọng lượng với tăng cường và loại bỏ dữ liệu để ngăn mô hình hình ảnh y tế nhỏ ghi nhớ các bản quét đào tạo hạn chế
Tương lai của việc giảm cân và điều chỉnh L2
Giảm trọng lượng vẫn là thành phần mặc định trong công thức đào tạo cho các mô hình ngôn ngữ lớn và máy biến đổi tầm nhìn, và AdamW hiện là trình tối ưu hóa tiêu chuẩn cho chúng. Nghiên cứu tiếp tục tìm hiểu xem sự phân rã tương tác như thế nào với lịch trình tốc độ học tập, các lớp chuẩn hóa và quy mô mô hình, vì cường độ hiệu quả của nó thay đổi khi các mô hình phát triển. Mong đợi điều chỉnh phân rã theo nguyên tắc hơn, có thể theo từng lớp hoặc theo lịch trình khi các nghiên cứu về quy luật mở rộng và tìm kiếm siêu tham số tự động hoàn thiện.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Ghi lại nơi Giảm cân và Chính quy hóa L2 hữu ích cũng như nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Weight Decay and L2 Regularization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Giảm cân và điều chỉnh L2 là gì?
Giảm trọng lượng là một kỹ thuật đơn giản, mạnh mẽ nhằm đẩy trọng lượng của mô hình về 0 trong quá trình huấn luyện, ngăn cản mô hình phụ thuộc quá nhiều vào bất kỳ tính năng đơn lẻ nào. Nó làm giảm việc trang bị quá mức và là một trong những công cụ điều chỉnh được sử dụng rộng rãi nhất trong học sâu.
Chính quy hóa L2 thêm gì vào hàm mất?
Chính quy hóa L2 cộng lambda nhân với tổng trọng số bình phương, xử phạt các trọng số lớn và khuyến khích các giải pháp nhỏ hơn, mượt mà hơn.
Vấn đề chính mà việc giảm cân giúp ngăn ngừa là gì?
Bằng cách giữ trọng số nhỏ, việc giảm trọng số sẽ ngăn cản mô hình điều chỉnh nhiễu, cải thiện khả năng khái quát hóa cho dữ liệu mới.
Sự phân rã trọng lượng đẩy trọng lượng của mô hình theo hướng nào?
Giảm dần trọng số làm giảm trọng số về 0 trong mỗi lần cập nhật, đó là lý do tại sao đôi khi nó được mô tả là 'giảm dần' trọng số.
Tại sao AdamW được giới thiệu?
Trong Adam, việc gấp L2 vào phần mất tương tác không tốt với việc chia tỷ lệ theo tham số; AdamW áp dụng phân rã riêng biệt để khôi phục lại độ co rút đồng đều như dự định.
Đối với việc giảm độ dốc ngẫu nhiên đơn giản, việc chuẩn hóa L2 và giảm trọng số có liên quan như thế nào?
Với SGD đơn giản, việc thêm hình phạt L2 vào khoản thua sẽ tạo ra bản cập nhật tương tự như việc giảm trọng số trực tiếp, do đó cả hai đều tương đương nhau.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này