치명적인 망각 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Which situation describes catastrophic forgetting in a neural network?
   • 새로운 작업을 학습하면 모델이 이전에 학습한 능력을 잃게 됩니다.
   • 추론 중에 모델의 메모리가 부족해지는 경우
   • 학습 데이터를 실수로 삭제한 경우
   • 모델이 질문에 답변을 거부하는 경우
2. 신경망에서 치명적인 망각이 발생하는 이유는 무엇입니까?
   • 각 작업은 자동으로 자체 별도의 네트워크를 갖기 때문에
   • 새로운 그래디언트 업데이트는 이전 기술을 인코딩한 공유 가중치를 덮어쓰기 때문입니다.
   • 모델은 둘 이상의 사실을 저장할 수 없기 때문에
   • 주의 레이어는 의도적으로 데이터를 삭제하기 때문에
3. EWC(Elastic Weight Consolidation)는 망각을 줄이기 위해 무엇을 합니까?
   • 새 작업의 데이터를 삭제합니다.
   • 학습률을 두 배로 늘립니다.
   • 이전에 학습한 작업에 중요한 가중치 변경에 페널티를 줍니다.
   • 모델의 관심을 제거합니다.
4. 리플레이(리허설) 전투 망각을 어떻게 경험하나요?
   • 전체 모델을 영구적으로 동결함으로써
   • 최신 데이터로만 학습하여
   • 레이어 수를 줄여서
   • 새로운 학습 중에 저장된 이전 예제를 인터리브하여
5. What does LoRA do to base-model weights when adding a task-specific adapter?
   • It freezes base weights and trains a low-rank adapter, which may reduce direct interference but does not guarantee retention
   • It rewrites every base weight for each new task
   • It stores no task-specific parameters
   • It guarantees zero forgetting on every task sequence
6. 검색 증강 접근법은 어떻게 치명적인 망각을 회피합니까?
   • 오래된 지식을 삭제하여 공간을 확보함으로써
   • 가중치 대신 외부 데이터베이스에 새로운 지식을 저장함으로써
   • 랜덤 노이즈에 대한 지속적인 훈련을 통해
   • 모델의 메모리를 완전히 비활성화하여
7. How does Gradient Episodic Memory (GEM) constrain learning on a new task?
   • It removes old task examples from memory
   • It changes the model to a nearest-class-mean classifier
   • It adjusts the gradient so the first-order approximation does not increase loss on stored prior-task examples
   • It adds a KL penalty to every parameter regardless of task
8. How do RAG-Token and RAG-Sequence differ in the original RAG paper?
   • RAG-Token removes retrieval while RAG-Sequence removes generation
   • RAG-Sequence uses images while RAG-Token uses audio
   • RAG-Token trains without model parameters
   • RAG-Token marginalizes retrieved documents per output token, while RAG-Sequence uses one document for a whole sequence