Chuẩn hóa lớp
Chuẩn hóa lớp ổn định quá trình đào tạo bằng cách định lại tỷ lệ kích hoạt trong từng ví dụ riêng lẻ để chúng có giá trị trung bình và phương sai đơn vị bằng 0.
Tổng quan
It is a quiet but essential ingredient that makes deep transformers trainable.
Lặn sâu
Được giới thiệu bởi Ba, Kiros và Hinton vào năm 2016, chuẩn hóa lớp (LayerNorm) giải quyết vấn đề kích hoạt bên trong mạng sâu có thể chuyển sang các quy mô cực kỳ khác nhau khi tín hiệu truyền qua nhiều lớp, làm chậm hoặc gây mất ổn định cho quá trình học. Không giống như chuẩn hóa hàng loạt, vốn chuẩn hóa từng tính năng trên các mẫu trong một lô nhỏ, LayerNorm chuẩn hóa trên các tính năng của một mẫu duy nhất. Điều này làm cho nó độc lập với kích thước lô và có thể sử dụng như nhau trong quá trình đào tạo và suy luận, đồng thời nó hoạt động tự nhiên với các chuỗi có độ dài thay đổi, đó là lý do tại sao nó trở thành tiêu chuẩn cho các máy biến áp cung cấp năng lượng cho các mô hình ngôn ngữ hiện đại. Sau khi chuẩn hóa, nó áp dụng thang đo có thể học được (gamma) và shift (beta) để mạng có thể khôi phục bất kỳ biểu diễn nào mà nó cần.
Hiểu biết kỹ thuật
Đối với vectơ đặc trưng x, LayerNorm tính toán giá trị trung bình và phương sai trên các phần tử của vectơ đó, sau đó xuất ra gamma * (x - Mean)/sqrt(variance + epsilon) + beta. Bởi vì số liệu thống kê đến từ một mẫu duy nhất nên hành vi giống hệt nhau cho dù lô có 1 hay 1000 mẫu. Một biến thể đơn giản hơn, RMSNorm, bỏ qua phép trừ trung bình và chỉ chia cho bình phương gốc, tiết kiệm tính toán; nó được sử dụng trong các mô hình như Llama. Vị trí cũng có vấn đề: 'pre-norm' (chuẩn hóa trước mỗi lớp con) làm cho máy biến áp sâu dễ huấn luyện hơn nhiều so với 'hậu định mức'.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của việc chuẩn hóa lớp
Quá trình chuẩn hóa đang được sắp xếp hợp lý để đạt hiệu quả ở quy mô lớn. RMSNorm đã thay thế phần lớn LayerNorm trong các mô hình ngôn ngữ lớn mới hơn vì nó rẻ hơn và hoạt động tốt, đồng thời vị trí đặt trước định mức hiện là mặc định cho các ngăn xếp rất sâu. Các nhà nghiên cứu tiếp tục khám phá các kiến trúc không cần chuẩn hóa mà thay vào đó sử dụng các thủ thuật khởi tạo hoặc mở rộng quy mô cẩn thận, nhằm mục đích cắt giảm chi phí trong khi vẫn giữ được sự ổn định trong quá trình đào tạo mà quá trình chuẩn hóa mang lại.
Triển khai trong thế giới thực
Ổn định từng khối biến áp trong các mô hình ngôn ngữ như GPT và BERT.
Kích hoạt RMSNorm làm lựa chọn chuẩn hóa nhẹ hơn trong các mô hình dòng Llama.
Chuẩn hóa dữ liệu chuỗi có độ dài thay đổi trong các mô hình dịch thuật và giọng nói có kích thước lô khác nhau.
Cho phép đào tạo đáng tin cậy với quy mô lô một, chẳng hạn như trong một số thiết lập học tăng cường.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Layer Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
RMSNorm và chuẩn hóa lớp trước
Câu hỏi thường gặp
What is Layer Normalization?
Chuẩn hóa lớp ổn định quá trình đào tạo bằng cách định lại tỷ lệ kích hoạt trong từng ví dụ riêng lẻ để chúng có giá trị trung bình và phương sai đơn vị bằng 0. Nó là một thành phần thầm lặng nhưng cần thiết giúp cho người biến áp sâu có thể huấn luyện được.
Quá trình chuẩn hóa lớp tính toán giá trị trung bình và phương sai của nó là gì?
LayerNorm bình thường hóa các kích thước đặc điểm của một mẫu riêng lẻ, làm cho nó độc lập với các mẫu khác trong lô.
Tại sao chuẩn hóa lớp được ưu tiên hơn chuẩn hóa lô trong máy biến áp?
Vì số liệu thống kê của nó đến từ một ví dụ duy nhất nên LayerNorm hoạt động nhất quán bất kể kích thước lô và phù hợp với các chuỗi văn bản có độ dài thay đổi.
Các thông số có thể học được gamma và beta cho phép LayerNorm làm gì?
Sau khi chuẩn hóa về giá trị trung bình bằng 0 và phương sai đơn vị, thang gamma và beta sẽ thay đổi kết quả để mô hình không bị buộc phải phân phối cố định.
RMSNorm khác với LayerNorm tiêu chuẩn như thế nào?
RMSNorm bỏ qua bước lấy trung bình làm trung tâm và chia tỷ lệ theo bình phương trung bình gốc của các kích hoạt, cách này rẻ hơn và được sử dụng trong các mô hình như Llama.
Vấn đề gì mà việc chuẩn hóa lớp chủ yếu giúp giải quyết trong các mạng sâu?
Khi tín hiệu đi qua nhiều lớp, phạm vi của chúng có thể tăng lên hoặc co lại; chuẩn hóa giữ cho kích hoạt ở phạm vi ổn định để độ dốc hoạt động tốt.