Tiếp theoHướng dẫn tiếp theo
Điểm kiểm tra độ dốc
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Một biện pháp bảo vệ đơn giản, được sử dụng rộng rãi giúp giới hạn mức độ cập nhật độ dốc lớn trong quá trình đào tạo.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
It prevents a single huge update from destabilizing or destroying a model, especially in recurrent and language models.
Việc cắt dải màu giới hạn kích thước của dải màu trước khi trình tối ưu hóa áp dụng nó. Hình thức phổ biến nhất là clip-by-norm: bạn tính toán tổng chỉ tiêu L2 của tất cả các độ dốc và nếu nó vượt quá ngưỡng đã chọn, bạn sẽ giảm tỷ lệ mỗi độ dốc theo cùng một hệ số để định mức bằng ngưỡng. Điều này duy trì hướng của bản cập nhật trong khi thu nhỏ cường độ của nó. Một biến thể đơn giản hơn, theo từng giá trị, chỉ kẹp từng thành phần gradient riêng lẻ vào một phạm vi cố định như [-5, 5], nhưng nó có thể làm sai lệch hướng cập nhật. Việc cắt là điều cần thiết trong RNN và LSTM, trong đó độ dốc bùng nổ là phổ biến và nó là một thành phần gần như phổ biến trong việc đào tạo các mô hình ngôn ngữ lớn, trong đó các lô xấu hoặc mã thông báo hiếm thỉnh thoảng có thể tạo ra các đột biến mất mát và NaN.
Đang đào tạo LSTM để tạo văn bản, một kỹ sư đặt clipnorm=1.0 để các đợt bùng nổ hiếm gặp không làm hỏng việc học.
Quá trình đào tạo mô hình ngôn ngữ lớn hầu như đều áp dụng tiêu chuẩn độ dốc toàn cầu (thường là 1,0) để ngăn chặn sự mất mát đột biến.
DP-SGD cắt độ dốc của từng ví dụ thành một định mức cố định trước khi thêm nhiễu Gaussian, thực thi bảo đảm chính thức về quyền riêng tư khác biệt.
Người thực hành theo dõi mức giảm đột biến trong TensorBoard sẽ hạ thấp ngưỡng clip và đường cong trở nên mượt mà và ổn định.
Clipping vẫn là một mặc định trong hầu hết mọi công thức đào tạo quy mô lớn vì nó rẻ và mạnh mẽ. Nghiên cứu đang tinh chỉnh nó bằng các sơ đồ thích ứng tự động đặt ngưỡng từ số liệu thống kê độ dốc gần đây thay vì giá trị được điều chỉnh bằng tay cố định và với tính năng cắt theo từng lớp hoặc theo tọa độ. Việc cắt giảm độ dốc cũng củng cố quá trình đào tạo riêng tư khác nhau (DP-SGD), trong đó việc cắt bớt từng mẫu sẽ giới hạn mức độ ảnh hưởng của từng mẫu để tiếng ồn đã hiệu chỉnh có thể đảm bảo quyền riêng tư mà không có bất kỳ bản ghi nào thống trị mô hình.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Một biện pháp bảo vệ đơn giản, được sử dụng rộng rãi giúp giới hạn mức độ cập nhật độ dốc lớn trong quá trình đào tạo. Nó ngăn chặn một bản cập nhật lớn duy nhất làm mất ổn định hoặc phá hủy một mô hình, đặc biệt là trong các mô hình ngôn ngữ và lặp lại.
Clip-by-norm chia tỷ lệ tất cả các gradient theo cùng một đại lượng vô hướng, do đó hướng đi xuống được giữ nguyên trong khi chỉ giới hạn độ dài bước.
Khi định mức quá lớn, mọi gradient được thay đổi tỷ lệ theo c/g_norm nên định mức kết quả bằng ngưỡng c.
Việc cắt bớt giới hạn mức độ cập nhật, trực tiếp ngăn chặn các bước lớn, không ổn định do độ dốc bùng nổ.
Clip-by-value kẹp từng phần tử vào một phạm vi cố định như [-5,5]; vì các thành phần được cắt bớt độc lập nên hướng tổng thể có thể thay đổi.
Norm clipping multiplies all components by a shared factor when the total norm is too large, limiting update magnitude.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Điểm kiểm tra độ dốc
kỹ thuật