Học tập liên tục và sự quên lãng thảm khốc
Học tập liên tục là mục tiêu của việc đào tạo AI về một loạt nhiệm vụ mới theo thời gian mà không xóa đi những gì nó đã biết.
Tổng quan
Its central obstacle is catastrophic forgetting: when a neural network learns a new task, gradient updates overwrite the weights that encoded earlier tasks, and old skills collapse.
Lặn sâu
Mạng thần kinh tiêu chuẩn giả định tất cả dữ liệu đều có sẵn cùng một lúc. Trong thế giới thực, dữ liệu đến một cách tuần tự và việc tinh chỉnh một cách ngây thơ các tác vụ mới gây ra tình trạng lãng quên nghiêm trọng - hiệu suất của các tác vụ trước đó giảm mạnh do trọng số chung được viết lại. Học tập liên tục tìm cách cân bằng sự ổn định (lưu giữ kiến thức cũ) với tính linh hoạt (tiếp thu kiến thức mới), tình thế lưỡng nan cổ điển về tính ổn định-dẻo dai. Tồn tại ba nhóm giải pháp chính: các phương pháp chính quy hóa như Hợp nhất trọng lượng đàn hồi để xử lý các thay đổi về trọng số được coi là quan trọng đối với các tác vụ cũ; phát lại các phương pháp lưu trữ hoặc tạo mẫu từ các tác vụ trước đây và xen kẽ chúng trong quá trình đào tạo; và các phương pháp kiến trúc phân bổ các tham số hoặc mô-đun mới cho mỗi nhiệm vụ. Không có phương pháp đơn lẻ nào giải quyết được hoàn toàn vấn đề này và việc đánh giá bao gồm các cài đặt tăng dần theo nhiệm vụ, miền và lớp.
Hiểu biết kỹ thuật
Tình trạng quên lãng nghiêm trọng phát sinh do độ dốc giảm dần trong một nhiệm vụ mới sẽ di chuyển các trọng số được chia sẻ sang mức tối ưu mới mà không bị ràng buộc phải ở gần các vùng tốt cho các nhiệm vụ cũ. Hợp nhất Trọng số Đàn hồi ước tính tầm quan trọng của từng trọng số (thông qua ma trận thông tin Fisher) và thêm một hình phạt bậc hai để giữ các trọng số quan trọng gần giá trị cũ của chúng. Tính năng phát lại gần giống với phân phối chung ban đầu bằng cách trộn các mẫu cũ được lưu trữ hoặc tạo thành các lô mới, do đó độ dốc phản ánh cả tác vụ cũ và tác vụ mới, giảm thiểu việc ghi đè phá hoại.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc học tập liên tục và sự lãng quên thảm khốc
Việc học hỏi liên tục ngày càng trở nên quan trọng để duy trì các mô hình lớn hiện hành mà không cần đào tạo lại đầy đủ và tốn kém. Nghiên cứu đang hướng tới các bản cập nhật liên tục hiệu quả về tham số (bộ điều hợp, mô-đun LoRA được thêm vào cho mỗi tác vụ), phát lại tốt hơn bằng cách sử dụng các mô hình tổng quát và các phương pháp cập nhật kiến thức trong các mô hình nền tảng đồng thời tránh quên và sai lệch không mong muốn. Mong đợi các liên kết chặt chẽ hơn với các tác nhân lâu dài tìm hiểu tính năng phát lại trên thiết bị, đảm bảo quyền riêng tư giúp tránh lưu trữ dữ liệu thô và điểm chuẩn phản ánh tốt hơn các luồng dữ liệu thực tế, không cố định thay vì ranh giới nhiệm vụ rõ ràng.
Triển khai trong thế giới thực
Trình phân loại hình ảnh được triển khai phải tìm hiểu các danh mục sản phẩm mới mỗi tháng mà không quên các danh mục trước đó.
Cá nhân hóa trên thiết bị (bàn phím hoặc trợ lý giọng nói) thích ứng với người dùng theo thời gian mà không làm mất đi độ chính xác chung.
Robot có được các kỹ năng thao tác mới một cách tuần tự trong khi vẫn giữ được các kỹ năng đã thành thạo trước đó.
Cập nhật mô hình ngôn ngữ với các sự kiện hoặc miền mới bằng cách sử dụng bộ điều hợp để duy trì các khả năng trước đó.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Ghi lại những chỗ Học tập liên tục và Sự quên lãng thảm khốc sẽ giúp ích và những chỗ mà các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Continual Learning and Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Sự lãng quên thảm khốc
Câu hỏi thường gặp
What is Continual Learning and Catastrophic Forgetting?
Học tập liên tục là mục tiêu của việc đào tạo AI về một loạt nhiệm vụ mới theo thời gian mà không xóa đi những gì nó đã biết. Trở ngại chính của nó là sự quên lãng thảm khốc: khi mạng lưới thần kinh học một nhiệm vụ mới, các cập nhật độ dốc sẽ ghi đè lên trọng số đã mã hóa các nhiệm vụ trước đó và các kỹ năng cũ sẽ sụp đổ.
'Sự lãng quên thảm khốc' là gì?
Sự quên lãng nghiêm trọng là sự mất mát nghiêm trọng về hiệu suất của tác vụ cũ khi trọng số chung của mạng bị ghi đè trong khi đang học một điều gì đó mới.
Hợp nhất trọng lượng đàn hồi (EWC) làm gì?
EWC bổ sung một hình phạt (sử dụng thông tin của Fisher) nhằm neo các trọng số được coi là quan trọng đối với các nhiệm vụ cũ, giảm bớt việc quên.
Làm thế nào để các phương pháp dựa trên hoạt động lặp lại chống lại việc quên?
Tính năng phát lại trộn các mẫu trước đây thành các lô mới để độ dốc phản ánh cả nhiệm vụ cũ và nhiệm vụ mới, gần đúng với dữ liệu chung ban đầu.
Đâu KHÔNG phải là một trong ba nhóm chính của phương pháp học tập liên tục?
Ba họ chính là các phương pháp chính quy hóa, phát lại và kiến trúc; nén không phải là một trong số đó.
Tại sao việc tinh chỉnh một cách ngây thơ trong một nhiệm vụ mới lại gây ra sự lãng quên?
Các bản cập nhật độ dốc không bị giới hạn sẽ viết lại các trọng số được chia sẻ theo hướng tối ưu mới, loại bỏ các vùng phù hợp với các tác vụ trước đó.