Sự lãng quên thảm khốc
Sự quên lãng nghiêm trọng là khi mạng lưới thần kinh học một nhiệm vụ mới và đột ngột mất khả năng thực hiện các nhiệm vụ mà nó đã thành thạo.
Tổng quan
It is a central obstacle to building AI that learns continually without retraining from scratch.
Lặn sâu
Mạng lưới thần kinh lưu trữ kiến thức theo trọng số chung. Khi bạn huấn luyện một mô hình về một nhiệm vụ mới, các bản cập nhật độ dốc sẽ ghi đè lên chính các tham số đã mã hóa các kỹ năng trước đó, do đó hiệu suất cũ có thể bị giảm. Đây là sự lãng quên thảm khốc, còn được gọi là sự can thiệp thảm khốc, được McCloskey và Cohen ghi lại lần đầu tiên vào năm 1989. Đây là tình trạng cấp tính trong quá trình học tập tuần tự hoặc liên tục, trong đó dữ liệu đến theo từng giai đoạn thay vì tất cả được trộn lẫn với nhau. Ví dụ: việc tinh chỉnh một chatbot dựa nhiều vào văn bản pháp lý có thể làm giảm khả năng đàm thoại chung của nó. Cách khắc phục mạnh mẽ tiêu chuẩn là đào tạo lại tất cả các nhiệm vụ cùng nhau, nhưng cách này rất tốn kém và giả định rằng bạn vẫn có dữ liệu cũ. Thay vào đó, các nhà nghiên cứu sử dụng các kỹ thuật bảo vệ trọng số quan trọng, phát lại các ví dụ trong quá khứ hoặc thêm các tham số dành riêng cho nhiệm vụ, tất cả đều nhằm mục đích giúp các mô hình tích lũy kiến thức theo cách con người làm.
Hiểu biết kỹ thuật
Việc quên xảy ra do các trọng số giống nhau được sử dụng lại trong các tác vụ và độ dốc giảm dần không bị giới hạn trên dữ liệu mới sẽ di chuyển chúng một cách tự do. Các biện pháp giảm thiểu bao gồm Hợp nhất trọng lượng đàn hồi, bổ sung thêm một hình phạt làm chậm các thay đổi đối với các tham số được coi là quan trọng đối với các tác vụ cũ (được ước tính qua thông tin Fisher). Các phương pháp khác là diễn tập hoặc phát lại trải nghiệm (xen kẽ các ví dụ cũ được lưu trữ hoặc tạo ra) và các phương pháp cách ly tham số như bộ điều hợp hoặc LoRA đóng băng mô hình cơ sở và thêm các mô-đun nhỏ mới.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của sự lãng quên thảm khốc
Khi các mô hình chuyển từ đào tạo một lần sang hệ thống cập nhật liên tục, suốt đời, việc kiểm soát việc quên trở nên cần thiết. Các phương pháp hiệu quả về tham số như bộ điều hợp LoRA cho phép các nhóm bổ sung các kỹ năng mà không làm ảnh hưởng đến mô hình cơ sở, đồng thời các hệ thống tăng cường truy xuất sẽ giải quyết vấn đề bằng cách lưu giữ kiến thức mới trong kho lưu trữ bên ngoài thay vì trong kho lưu trữ. Mong đợi các tiêu chuẩn học tập liên tục, kiến trúc mô-đun và kỹ thuật hợp nhất lấy cảm hứng từ bộ não sẽ trưởng thành, đưa chúng ta hướng tới các mô hình cập nhật thông tin mới trong khi vẫn giữ được những gì họ đã biết một cách đáng tin cậy.
Triển khai trong thế giới thực
Một chatbot chung được tinh chỉnh nhiều về văn bản y tế sẽ làm mất đi sự trôi chảy trong cuộc trò chuyện thông thường.
Hợp nhất trọng lượng đàn hồi cho phép tác nhân chơi trò chơi tìm hiểu các trò chơi Atari mới mà không quên các trò chơi cũ.
Các nhóm sử dụng bộ điều hợp LoRA để thêm một kỹ năng miền mới trong khi vẫn giữ nguyên các khả năng của mô hình cơ sở cố định.
Tính năng phát lại trải nghiệm lưu trữ các ví dụ trước đây và xen kẽ chúng trong quá trình đào tạo mới để duy trì hiệu suất cũ.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Catastrophic Forgetting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Học tập liên tục và sự quên lãng thảm khốc
Câu hỏi thường gặp
What is Catastrophic Forgetting?
Sự quên lãng nghiêm trọng là khi mạng lưới thần kinh học một nhiệm vụ mới và đột ngột mất khả năng thực hiện các nhiệm vụ mà nó đã thành thạo. Đó là trở ngại chính trong việc xây dựng AI có khả năng học hỏi liên tục mà không cần đào tạo lại từ đầu.
Sự quên lãng thảm khốc là gì?
Sự quên lãng nghiêm trọng là sự mất đột ngột các khả năng cũ khi mạng được huấn luyện về một nhiệm vụ mới, do các trọng số chung bị ghi đè.
Tại sao thảm họa quên xảy ra trong mạng lưới thần kinh?
Kiến thức tồn tại trong các tham số được chia sẻ, vì vậy việc đào tạo dựa trên dữ liệu mới sẽ làm thay đổi các trọng số tương tự đó và xóa bỏ việc học trước đó.
Hợp nhất trọng lượng đàn hồi (EWC) làm gì để giảm tình trạng quên?
EWC bổ sung một hình phạt chính quy hóa làm chậm quá trình cập nhật các tham số được coi là quan trọng đối với các tác vụ cũ, được ước tính thông qua thông tin của Fisher.
Trải nghiệm lặp lại (diễn tập) chống lại việc quên như thế nào?
Diễn tập kết hợp các ví dụ trước đây (được lưu trữ hoặc tạo ra) trong khi học các nhiệm vụ mới để hiệu suất cũ được củng cố.
Tại sao bộ điều hợp LoRA lại hữu ích để tránh sự quên lãng nghiêm trọng?
LoRA giữ cho mô hình cơ sở không bị thay đổi và tìm hiểu các thông số bổ sung nhỏ để các kỹ năng mới không làm ảnh hưởng đến các khả năng hiện có.