Học liên kết
Học tập liên kết đào tạo một mô hình dùng chung trên nhiều thiết bị hoặc tổ chức mà không thu thập dữ liệu thô ở một nơi.
Tổng quan
Only model updates travel to the server, so the sensitive data stays where it lives.
Lặn sâu
Trong đào tạo thông thường, tất cả dữ liệu được gộp trên các máy chủ trung tâm. Học tập liên kết lật ngược điều này: một mô hình toàn cầu được gửi tới những người tham gia (điện thoại, bệnh viện, ngân hàng), mỗi chuyến tàu cục bộ trên dữ liệu riêng của mình và chỉ những thay đổi về trọng lượng thu được mới được gửi lại. Máy chủ tính trung bình các cập nhật này thành một mô hình toàn cầu được cải tiến và lặp lại. Google đã giới thiệu ý tưởng về Gboard, cải thiện dự đoán bàn phím từ hàng triệu điện thoại mà không cần tải lên nội dung mọi người đã nhập. Cách tiếp cận này phát huy tác dụng ở những nơi dữ liệu mang tính riêng tư, được quản lý hoặc quá lớn để di chuyển, chẳng hạn như hồ sơ chăm sóc sức khỏe trải khắp các bệnh viện. Các thách thức bao gồm các thiết bị không đáng tin cậy, dữ liệu có sự khác biệt rõ rệt giữa những người tham gia (dữ liệu không phải IID) và thực tế là các bản cập nhật thô vẫn có thể rò rỉ thông tin, đó là lý do tại sao nó được kết hợp với các kỹ thuật bảo mật.
Hiểu biết kỹ thuật
Thuật toán cổ điển là Tính trung bình liên kết (FedAvg): mỗi khách hàng chạy một số bước giảm dần cục bộ, sau đó máy chủ lấy mức trung bình có trọng số của các trọng số mới, thường được tính theo lượng dữ liệu mà mỗi khách hàng có. Bởi vì khách hàng sẽ huấn luyện nhiều bước trước khi đồng bộ hóa nên số vòng liên lạc giảm mạnh so với việc gửi từng bước chuyển màu. Để ngăn chặn các bản cập nhật rò rỉ dữ liệu, các hệ thống liên kết bổ sung tính năng tổng hợp an toàn, cho phép máy chủ chỉ nhìn thấy tổng kết hợp và quyền riêng tư khác biệt, tạo ra tiếng ồn đã được hiệu chỉnh.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của học tập liên kết
Học tập liên kết đang chuyển từ bàn phím sang sử dụng trên nhiều tổ chức trong lĩnh vực chăm sóc sức khỏe, tài chính và IoT, nơi các quy định như HIPAA và GDPR khiến việc tổng hợp dữ liệu trở nên khó khăn. Mong đợi sự tích hợp chặt chẽ hơn với quyền riêng tư khác biệt và tổng hợp an toàn, cùng với các khung như TensorFlow Federated, Flower và NVIDIA FLARE đang hoàn thiện để đưa vào sản xuất. Một biên giới đang phát triển là việc tinh chỉnh liên kết các mô hình ngôn ngữ lớn, cho phép các tổ chức cùng nhau cải tiến mô hình về văn bản bí mật. Việc xử lý tốt hơn những người tham gia được phân bổ không đồng đều và không đáng tin cậy vẫn là động lực nghiên cứu chính.
Triển khai trong thế giới thực
Google Gboard cải thiện dự đoán từ tiếp theo và biểu tượng cảm xúc trên điện thoại mà không cần tải tổ hợp phím lên.
Các bệnh viện cùng đào tạo các mô hình chẩn đoán hình ảnh mà không chia sẻ hồ sơ bệnh nhân được bảo vệ.
Các ngân hàng hợp tác trên các mô hình phát hiện gian lận trong khi vẫn giữ bí mật các giao dịch của mỗi tổ chức.
Apple cá nhân hóa các tính năng trên thiết bị như đề xuất QuickType và Siri bằng cách sử dụng tính năng học tập cục bộ.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Federated Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
CI/CD cho học máy
Câu hỏi thường gặp
What is Federated Learning?
Học tập liên kết đào tạo một mô hình dùng chung trên nhiều thiết bị hoặc tổ chức mà không thu thập dữ liệu thô ở một nơi. Chỉ các bản cập nhật mô hình mới được chuyển đến máy chủ nên dữ liệu nhạy cảm vẫn được giữ nguyên.
Ý tưởng cốt lõi của học tập liên kết là gì?
Học tập liên kết giữ dữ liệu thô cục bộ; mỗi người tham gia đào tạo trên dữ liệu của riêng mình và chỉ gửi các bản cập nhật mô hình mà máy chủ kết hợp.
Thuật toán tính trung bình liên kết (FedAvg) làm gì trên máy chủ?
FedAvg kết hợp trọng số được đào tạo tại địa phương của khách hàng thành một mô hình toàn cầu cải tiến duy nhất, thường tính trọng số của mỗi khách hàng theo lượng dữ liệu mà họ sử dụng.
Sản phẩm nào nổi tiếng sử dụng phương pháp học tập liên kết để cải thiện khả năng dự đoán?
Google đã sử dụng tính năng học liên kết trong Gboard để cải thiện dự đoán văn bản từ hàng triệu điện thoại mà không cần thu thập nội dung người dùng đã nhập.
Tại sao học tập liên kết lại hấp dẫn đối với dữ liệu chăm sóc sức khỏe?
Dữ liệu sức khỏe là dữ liệu riêng tư và được quản lý, do đó, việc giữ dữ liệu cục bộ trong khi vẫn xây dựng mô hình dùng chung phù hợp với các luật như HIPAA tốt hơn nhiều so với việc gộp dữ liệu đó lại.
Tại sao chỉ cập nhật mô hình không tự động hoàn toàn riêng tư?
Các thay đổi về độ dốc và trọng lượng có thể tiết lộ chi tiết về các ví dụ đào tạo, đó là lý do tại sao tính năng tổng hợp an toàn và quyền riêng tư khác biệt được thêm vào.