Câu đố về sự lãng quên thảm khốc

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Tình huống nào mô tả sự lãng quên thảm khốc trong mạng lưới thần kinh?
   • Khi việc học một nhiệm vụ mới khiến mô hình mất đi các khả năng đã học trước đó
   • Khi một mô hình hết bộ nhớ trong khi suy luận
   • Khi dữ liệu huấn luyện vô tình bị xóa
   • Khi người mẫu từ chối trả lời câu hỏi
2. Tại sao thảm họa quên xảy ra trong mạng lưới thần kinh?
   • Bởi vì mỗi tác vụ sẽ tự động có mạng riêng
   • Bởi vì các bản cập nhật gradient mới ghi đè các trọng số được chia sẻ đã mã hóa các kỹ năng cũ
   • Bởi vì các mô hình không thể lưu trữ nhiều hơn một dữ kiện
   • Bởi vì các lớp chú ý xóa dữ liệu có mục đích
3. Hợp nhất trọng lượng đàn hồi (EWC) làm gì để giảm tình trạng quên?
   • Xóa dữ liệu của nhiệm vụ mới
   • Nhân đôi tốc độ học tập
   • Phạt những thay đổi về trọng số quan trọng đối với các nhiệm vụ đã học trước đó
   • Loại bỏ sự chú ý khỏi mô hình
4. Trải nghiệm lặp lại (diễn tập) chống lại việc quên như thế nào?
   • Bằng cách đóng băng vĩnh viễn toàn bộ mô hình
   • Bằng cách chỉ đào tạo trên dữ liệu mới nhất
   • Bằng cách giảm số lượng lớp
   • Bằng cách xen kẽ các ví dụ cũ được lưu trữ trong quá trình đào tạo mới
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. Làm thế nào để phương pháp tiếp cận tăng cường truy xuất có thể tránh được sự quên lãng thảm khốc?
   • Bằng cách xóa bỏ kiến thức cũ để nhường chỗ
   • Bằng cách lưu trữ kiến thức mới trong cơ sở dữ liệu bên ngoài thay vì trọng số
   • Bằng cách đào tạo liên tục về tiếng ồn ngẫu nhiên
   • Bằng cách vô hiệu hóa hoàn toàn bộ nhớ của mô hình
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence