Chuẩn hóa nhóm
Chuẩn hóa nhóm là một kỹ thuật giúp ổn định việc đào tạo mạng lưới thần kinh bằng cách chuẩn hóa các tính năng trong các nhóm kênh nhỏ, độc lập cho từng ví dụ.
Tổng quan
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
Lặn sâu
Các lớp chuẩn hóa giữ cho các số lượng truyền qua mạng được chia tỷ lệ phù hợp, giúp tăng tốc và ổn định quá trình đào tạo. Chuẩn hóa hàng loạt thực hiện điều này bằng cách tính toán giá trị trung bình và phương sai của từng tính năng trên toàn bộ lô nhỏ, nhưng điều đó khiến nó dễ bị hỏng khi các lô nhỏ, vì số liệu thống kê trở nên nhiễu và không đáng tin cậy. Chuẩn hóa nhóm, được Wu và He giới thiệu vào năm 2018, loại bỏ hoàn toàn lô khỏi phương trình. Đối với mỗi ví dụ riêng lẻ, nó chia các kênh thành một số nhóm cố định, sau đó chuẩn hóa từng nhóm chỉ bằng cách sử dụng các giá trị riêng của ví dụ đó. Bởi vì việc tính toán không bao giờ phụ thuộc vào các mẫu khác trong lô nên hiệu suất vẫn ổn định cho dù lô chứa 32 hình ảnh hay chỉ một hình ảnh, khiến nó trở nên phổ biến trong các nhiệm vụ phát hiện, phân đoạn và thị giác nặng về bộ nhớ.
Hiểu biết kỹ thuật
Định mức nhóm tính toán giá trị trung bình và phương sai theo các kích thước không gian và trên các kênh trong mỗi nhóm, trên mỗi mẫu. Sau đó, nó chuẩn hóa về giá trị trung bình bằng 0 và phương sai đơn vị, đồng thời áp dụng thang đo (gamma) và dịch chuyển (beta) đã học cho mỗi kênh. Nó khái quát hóa các sơ đồ khác: với một nhóm, nó trở thành Chuẩn hóa lớp và với một kênh cho mỗi nhóm, nó trở thành Chuẩn hóa phiên bản. Số lượng nhóm là một siêu tham số, thường được đặt thành 32.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc bình thường hóa nhóm
Chuẩn hóa nhóm vẫn là lựa chọn phù hợp khi các lô phải nhỏ, chẳng hạn như phát hiện và phân đoạn có độ phân giải cao, mô hình 3D và video cũng như đào tạo có giới hạn về bộ nhớ. Nó cũng được nhúng vào các kiến trúc tổng quát được sử dụng rộng rãi như U-Nets bên trong các mô hình khuếch tán. Khi các mô hình phát triển và áp lực bộ nhớ đẩy kích thước lô xuống, các bộ chuẩn hóa độc lập theo lô, trong đó có Nhóm Định mức cùng với Định mức Lớp, có thể vẫn là các khối xây dựng mặc định, với việc tiếp tục nghiên cứu về các kết hợp và các lựa chọn thay thế không cần chuẩn hóa.
Triển khai trong thế giới thực
Phát hiện đối tượng và phân đoạn phiên bản (ví dụ: mô hình kiểu Mặt nạ R-CNN) được đào tạo với các lô rất nhỏ trên mỗi GPU.
Các xương sống U-Net bên trong các bộ tạo hình ảnh khuếch tán, trong đó Group Norm ổn định các thang đo đặc điểm.
Mạng 3D và video nơi sử dụng bộ nhớ cao sẽ buộc kích thước lô giảm xuống còn một hoặc hai.
Tinh chỉnh các mô hình tầm nhìn lớn trên phần cứng hạn chế trong đó các lô nhỏ khiến số liệu thống kê Batch Norm không đáng tin cậy.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi Chuẩn hóa nhóm hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chuẩn hóa phần thưởng được nhóm trong RLHF
Câu hỏi thường gặp
What is Group Normalization?
Chuẩn hóa nhóm là một kỹ thuật giúp ổn định việc đào tạo mạng lưới thần kinh bằng cách chuẩn hóa các tính năng trong các nhóm kênh nhỏ, độc lập cho từng ví dụ. Điều này quan trọng bởi vì, không giống như Chuẩn hóa hàng loạt, nó hoạt động tốt ngay cả khi các lô rất nhỏ.
Ưu điểm chính của Chuẩn hóa nhóm so với Chuẩn hóa hàng loạt là gì?
Bởi vì Group Norm tính toán số liệu thống kê trên mỗi ví dụ chứ không phải trên toàn bộ lô nên nó không bị suy giảm theo các lô nhỏ, không giống như Batch Norm.
Chuẩn hóa nhóm tính toán giá trị trung bình và phương sai của nó bằng cách nào?
Nó chia các kênh thành các nhóm và chuẩn hóa từng nhóm chỉ bằng cách sử dụng các giá trị và vị trí không gian của mẫu đó, bỏ qua phần còn lại của lô.
Chuẩn hóa nhóm trở thành Chuẩn hóa lớp trong trường hợp đặc biệt nào?
Với một nhóm duy nhất, tất cả các kênh được chuẩn hóa cùng nhau trên mỗi ví dụ, đó chính xác là Chuẩn hóa lớp.
Chuẩn hóa nhóm trở thành Chuẩn hóa cá thể trong trường hợp đặc biệt nào?
Nếu mỗi nhóm giữ một kênh duy nhất thì mỗi kênh sẽ được chuẩn hóa riêng cho mỗi ví dụ, đó là Chuẩn hóa phiên bản.
Sau khi chuẩn hóa, Group Norm áp dụng điều gì để khôi phục tính linh hoạt trong biểu diễn?
Giống như các lớp chuẩn hóa khác, Group Norm bao gồm các tham số dịch chuyển và tỷ lệ có thể học được để mạng có thể hoàn tác hoặc điều chỉnh chuẩn hóa khi cần.