Trung bình trọng số ngẫu nhiên
Tính trung bình trọng lượng ngẫu nhiên (SWA) lấy mức trung bình đơn giản của trọng số của mô hình từ một số điểm muộn trong quá trình đào tạo thay vì chỉ giữ lại ảnh chụp nhanh cuối cùng.
Tổng quan
This cheap trick often lands the model in a flatter, wider region of the loss landscape, which tends to generalize noticeably better on unseen data.
Lặn sâu
Được giới thiệu bởi Izmailov, Wilson và các đồng nghiệp vào năm 2018, SWA khai thác quan sát rằng SGD với tốc độ học không đổi hoặc theo chu kỳ không hội tụ về một điểm - nó nảy quanh vành của một thung lũng rộng, bằng phẳng. Thay vì chọn một trong những điểm dừng ồn ào đó, SWA chạy tốc độ học tập ở mức cao vừa phải (thường không đổi hoặc theo chu kỳ) cho các kỷ nguyên cuối cùng và tính trung bình các trọng số mà nó truy cập, điển hình là mỗi kỷ nguyên. Trọng lượng trung bình nằm gần trung tâm của vùng phẳng hơn. Bởi vì số liệu thống kê chuẩn hóa hàng loạt được tính toán cho các trọng số cụ thể nên SWA yêu cầu thêm một lượt chuyển tiếp dữ liệu để tính toán lại phương tiện chạy BN và phương sai cho mô hình tính trung bình. Về cơ bản, chi phí này là miễn phí và độ chính xác đạt được là nhất quán giữa các bộ phân loại hình ảnh và hơn thế nữa.
Hiểu biết kỹ thuật
SWA duy trì mức trung bình đang chạy w_SWA = (n·w_SWA + w_i)/(n+1) được cập nhật mỗi chu kỳ, trong khi mô hình SGD trực tiếp tiếp tục khám phá với tốc độ học tập tương đối lớn. Tính trung bình trong không gian trọng số xấp xỉ một tập hợp trong không gian hàm nhưng tốn một mô hình khi suy luận, không nhiều. Cơ chế quan trọng là cực tiểu phẳng có khả năng chống nhiễu loạn trọng số, do đó bề mặt mất huấn luyện/kiểm tra luôn thẳng hàng, giảm khoảng cách khái quát hóa.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của tính trung bình trọng số ngẫu nhiên
SWA đã tạo ra các biến thể như SWA-Gaussian (SWAG) cho độ không đảm bảo Bayesian giá rẻ và ý tưởng tính trung bình hiện đang củng cố các thủ thuật Trung bình di chuyển theo cấp số nhân được sử dụng rộng rãi trong các mô hình phổ biến, học tập tự giám sát và đào tạo trước mô hình lớn. Dự kiến mức trung bình trọng lượng vẫn là 'bữa trưa miễn phí' mặc định trong các công thức tập luyện, với nghiên cứu mở rộng nó để hợp nhất các mô hình được đào tạo độc lập (súp mô hình) và cải thiện hiệu chuẩn cùng với độ chính xác thô.
Triển khai trong thế giới thực
Tăng cường độ chính xác kiểm tra của bộ phân loại hình ảnh ResNet và DenseNet trên CIFAR và ImageNet mà không mất thêm chi phí suy luận.
SWAG (SWA-Gaussian) tạo ra các ước tính độ không đảm bảo đã được hiệu chỉnh cho các dự đoán nhạy cảm về an toàn từ một lần huấn luyện duy nhất.
Trọng số EMA ổn định mạng lấy mẫu trong các trình tạo hình ảnh khuếch tán như Khuếch tán ổn định.
Xây dựng 'súp mô hình' bằng cách tính trung bình nhiều điểm kiểm tra được tinh chỉnh để cải thiện độ bền mà không cần đào tạo lại.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Weight Averaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Khởi tạo trọng lượng
Câu hỏi thường gặp
What is Stochastic Weight Averaging?
Tính trung bình trọng lượng ngẫu nhiên (SWA) lấy mức trung bình đơn giản của trọng số của mô hình từ một số điểm muộn trong quá trình đào tạo thay vì chỉ giữ lại ảnh chụp nhanh cuối cùng. Thủ thuật rẻ tiền này thường đưa mô hình vào một vùng phẳng hơn, rộng hơn trong bối cảnh mất mát, có xu hướng khái quát hóa tốt hơn đáng kể trên dữ liệu không nhìn thấy được.
Trung bình trọng lượng ngẫu nhiên thực sự trung bình là bao nhiêu?
SWA tính trung bình các tham số mô hình (trọng số) được thu thập tại một số điểm kiểm tra trong giai đoạn huấn luyện cuối cùng, chứ không phải dự đoán hoặc độ dốc.
Tại sao SWA có xu hướng cải thiện tính khái quát hóa?
Tính trung bình di chuyển giải pháp về phía trung tâm của vùng phẳng của bề mặt tổn thất và cực tiểu phẳng khái quát hóa tốt hơn vì tổn thất huấn luyện và tổn thất thử nghiệm luôn thẳng hàng.
SWA yêu cầu thêm bước nào đối với các mạng sử dụng chuẩn hóa hàng loạt?
Bởi vì số liệu thống kê BN phụ thuộc vào các trọng số cụ thể nên mô hình tính trung bình cần thêm một lần truyền dữ liệu để tính toán lại phương tiện và phương sai đang chạy.
Hành vi tốc độ học tập nào thường được sử dụng trong giai đoạn lấy trung bình SWA?
SWA duy trì tốc độ học theo chu kỳ hoặc không đổi ở mức cao vừa phải để SGD tiếp tục khám phá vùng phẳng rộng có điểm sau đó được tính trung bình.
Chi phí suy luận của SWA so với tập hợp N mô hình truyền thống như thế nào?
SWA thu gọn nhiều điểm kiểm tra thành một tập trọng số trung bình, do đó chi phí suy luận tương đương với một mô hình duy nhất thay vì N.