Tiếp theoHướng dẫn tiếp theo
Sự lãng quên thảm khốc
Ngôn ngữ AI
HƯỚNG DẪN cơ bản
Học tập liên tục và sự quên lãng thảm khốc
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities.
Nghe hướng dẫn nàyAI thuật lại · ~1 min
Trên trang nàyđọc 1 phút
Tổng quan
Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
Lặn sâu
EWC uses a Fisher-information-based regularizer to discourage changes to parameters considered important for prior tasks. GEM uses episodic examples to constrain gradient updates; its guarantee concerns a local linear approximation to previous-task losses, so actual finite updates can still change performance. iCaRL stores exemplars, selects representatives with a herding procedure and classifies using per-class mean features. Replay methods revisit retained examples; these methods have different memory, privacy and compute tradeoffs. The stability-plasticity tradeoff describes balancing retention with learning new tasks.
Triển khai trong thế giới thực
Evaluate old and new tasks after each update.
Use replay samples when permitted by data policy.
Compare regularization methods such as EWC against fine-tuning.
Record task order and memory budget.
Tương lai của việc học tập liên tục và sự lãng quên thảm khốc
Continual-learning results depend on task sequence, model, data access, and evaluation protocol. Report both new-task learning and old-task retention.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Ghi lại những chỗ Học tập liên tục và Sự quên lãng thảm khốc sẽ giúp ích và những chỗ mà các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Continual Learning and Catastrophic Forgetting quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Học tập liên tục và sự quên lãng thảm khốc là gì?
Continual learning updates a model over a sequence of tasks or data streams while trying to retain useful prior capabilities. Catastrophic forgetting is a common failure where learning new tasks degrades earlier performance.
'Sự lãng quên thảm khốc' là gì?
Sự quên lãng nghiêm trọng là sự mất mát nghiêm trọng về hiệu suất của tác vụ cũ khi trọng số chung của mạng bị ghi đè trong khi đang học một điều gì đó mới.
Hợp nhất trọng lượng đàn hồi (EWC) làm gì?
EWC bổ sung một hình phạt (sử dụng thông tin của Fisher) nhằm neo các trọng số được coi là quan trọng đối với các nhiệm vụ cũ, giảm bớt việc quên.
Làm thế nào để các phương pháp dựa trên hoạt động lặp lại chống lại việc quên?
Tính năng phát lại trộn các mẫu trước đây thành các lô mới để độ dốc phản ánh cả nhiệm vụ cũ và nhiệm vụ mới, gần đúng với dữ liệu chung ban đầu.
How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
GEM projects updates using episodic-memory losses so the local first-order approximation does not increase loss on previous-task examples. This constraint is based on a local linearization and does not guarantee actual loss will never rise after every finite step.
Tại sao việc tinh chỉnh một cách ngây thơ trong một nhiệm vụ mới lại gây ra sự lãng quên?
Các bản cập nhật độ dốc không bị giới hạn sẽ viết lại các trọng số được chia sẻ theo hướng tối ưu mới, loại bỏ các vùng phù hợp với các tác vụ trước đó.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này