Giảm dần độ dốc
Giảm dần độ dốc là phương pháp tối ưu hóa thực sự làm giảm trọng số của mô hình xuống mức sai số thấp hơn, từng bước nhỏ một.
Tổng quan
It is how learning happens once backpropagation has computed the gradients.
Lặn sâu
Hãy tưởng tượng bạn đang đứng trên sườn đồi đầy sương mù, cố gắng chạm tới đáy thung lũng trong khi chỉ cảm nhận được độ dốc dưới chân mình. Giảm dần độ dốc thực hiện chính xác điều này đối với bối cảnh lỗi của mô hình. Các điểm gradient theo hướng có độ suy hao tăng mạnh nhất nên thuật toán thực hiện theo hướng ngược lại để giảm sai số. Kích thước của mỗi bước được kiểm soát bởi tốc độ học, một siêu tham số quan trọng: quá lớn và mô hình vượt quá và phân kỳ, quá nhỏ và đào tạo thu thập dữ liệu. Trong thực tế, các mô hình hiếm khi sử dụng tập dữ liệu đầy đủ cho từng bước. Các biến thể giảm độ dốc ngẫu nhiên (SGD) và các đợt nhỏ ước tính độ dốc từ các mẫu ngẫu nhiên nhỏ, giúp việc đào tạo nhanh chóng và giúp mô hình thoát khỏi bẫy nông trong bề mặt mất mát.
Hiểu biết kỹ thuật
Mỗi bản cập nhật tuân theo một quy tắc đơn giản: trọng số mới bằng trọng số cũ trừ đi tốc độ học nhân với độ dốc. Giảm độ dốc theo lô nhỏ tính toán độ dốc đó trên một tập hợp con dữ liệu nhỏ thay vì toàn bộ dữ liệu, đánh đổi độ chính xác chính xác để lấy tốc độ và độ nhiễu hữu ích. Các nhà tối ưu hóa hiện đại như Adam xây dựng dựa trên điều này bằng cách điều chỉnh tốc độ học hiệu quả cho mỗi tham số và thêm động lượng, tích lũy độ dốc trong quá khứ để làm dịu các dao động và tăng tốc tiến trình qua các vùng bằng phẳng hoặc hình khe núi của bối cảnh mất mát.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc giảm độ dốc
Ngày nay, việc giảm độ dốc đơn giản hiếm khi được sử dụng một mình; những người tối ưu hóa thích ứng như Adam và AdamW chiếm ưu thế trong hoạt động đào tạo quy mô lớn. Nghiên cứu tiếp tục về lịch trình tốc độ học tập, chiến lược khởi động và phương pháp bậc hai sử dụng thông tin độ cong để hội tụ nhanh hơn. Khi các mô hình phát triển, việc giảm độ dốc được phân phối và phân chia trên hàng nghìn GPU trở nên cần thiết và các kỹ thuật để ổn định các bản cập nhật lớn này là một lĩnh vực hoạt động tiên tiến. Ý tưởng cốt lõi, tuân theo độ dốc âm, sẽ vẫn tồn tại, nhưng bộ máy xung quanh việc định cỡ bước tiếp tục phát triển.
Triển khai trong thế giới thực
Giảm lỗi dự đoán của mô hình ngôn ngữ trên hàng tỷ mã thông báo đào tạo bằng cách sử dụng các bản cập nhật hàng loạt nhỏ
Điều chỉnh tốc độ học để mô hình hình ảnh hội tụ nhanh chóng mà không xảy ra hiện tượng mất mát
Tận dụng động lực để tăng tốc độ đào tạo mạng nhận dạng giọng nói bị mắc kẹt trong thung lũng mất mát dài và hẹp
Áp dụng Adam để tinh chỉnh mô hình trên một tập dữ liệu nhỏ trong đó tốc độ học trên mỗi tham số giúp ổn định
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi hỗ trợ Giảm dần độ dốc và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Gradient Descent quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Giảm dần độ dốc ngẫu nhiên với động lượng
Câu hỏi thường gặp
What is Gradient Descent?
Giảm dần độ dốc là phương pháp tối ưu hóa thực sự làm giảm trọng số của mô hình xuống mức sai số thấp hơn, từng bước nhỏ một. Đó là cách quá trình học tập diễn ra khi lan truyền ngược đã tính toán được độ dốc.
Độ dốc giảm dần sẽ di chuyển trọng số theo hướng nào?
Độ dốc hướng tới mức tăng tổn thất mạnh nhất, do đó, để giảm tổn thất, các bước thuật toán theo hướng ngược lại (âm).
Tỷ lệ học tập kiểm soát điều gì?
Tỷ lệ học tập chia tỷ lệ trọng số di chuyển bao xa trên mỗi lần cập nhật; mức vượt quá lớn, quá nhỏ khiến quá trình huấn luyện trở nên chậm chạp.
Việc giảm độ dốc ngẫu nhiên hoặc theo đợt nhỏ khác với việc sử dụng tập dữ liệu đầy đủ như thế nào?
Giảm độ dốc theo đợt nhỏ và ngẫu nhiên xấp xỉ độ dốc bằng cách sử dụng các mẫu nhỏ, giúp tăng tốc độ đào tạo và thêm tiếng ồn hữu ích.
Tỷ lệ học tập quá lớn có thể gây ra vấn đề gì?
Các bước lớn có thể vượt qua mức tối thiểu và nảy lên hoặc nổ tung, khiến tổn thất tăng lên thay vì giải quyết.
Động lượng thêm gì vào việc giảm độ dốc?
Động lượng mang giá trị trung bình của các độ dốc trong quá khứ, giúp trình tối ưu hóa di chuyển nhanh hơn qua các khe núi và làm giảm dao động.