지속적인 학습과 파멸적인 망각 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. '파국적 망각'이란 무엇입니까?
   • 새로운 작업을 학습하면 이전에 학습한 작업의 성능이 급격히 저하됩니다.
   • 모델에 메모리가 부족하여 충돌이 발생하는 경우
   • 학습 데이터를 실수로 삭제한 경우
   • 모델이 예측을 거부하는 경우
2. 지속적인 학습의 중심에 있는 균형은 흔히 다음과 같이 불립니다.
   • 편향-분산 트레이드오프
   • 안정성-가소성 딜레마
   • 속도-정확도 절충
   • 탐사-이용 트레이드오프
3. 탄력적 무게 통합(EWC)은 무엇을 합니까?
   • 중요하지 않은 뉴런을 삭제합니다.
   • 새로운 작업에 대한 학습 속도를 두 배로 늘립니다.
   • 이전에 학습한 작업에 중요한 가중치 변경에 페널티를 줍니다.
   • 모든 과거 학습 예제를 영원히 저장합니다.
4. 재생 기반 방법은 망각에 어떻게 대처합니까?
   • 전체 네트워크를 영구적으로 동결함으로써
   • 더 큰 학습률을 사용하여
   • 손실함수를 제거하여
   • 저장되거나 생성된 오래된 예제를 새로운 훈련에 인터리브함으로써
5. How does Gradient Episodic Memory (GEM) constrain a gradient update while learning a new task?
   • It projects the gradient so its first-order approximation does not increase loss on stored prior-task examples
   • It replaces all prior-task data with new examples
   • It freezes every parameter for all future tasks
   • It increases weights that were unimportant to earlier tasks
6. 새로운 작업에 대한 순진한 미세 조정이 망각을 유발하는 이유는 무엇입니까?
   • GPU가 과열되어 메모리가 손상됩니다.
   • 경사하강법은 이전 작업을 보존하기 위한 제약 없이 공유 가중치를 새 작업으로 이동합니다.
   • 새로운 작업에는 항상 더 많은 데이터가 있습니다
   • 모델이 의도적으로 이전 가중치를 삭제합니다.
7. How does iCaRL classify a test example after learning multiple classes?
   • By retrieving the single closest word in a text corpus
   • By selecting the class with the largest Fisher information
   • By comparing its feature vector with per-class means computed from stored exemplars
   • By replaying every training image at inference
8. Why is evaluating continual learning more than measuring final accuracy on the newest task?
   • New-task accuracy is the only relevant measure
   • Old tasks are removed from the evaluation
   • The model cannot be tested on multiple tasks
   • A method must also measure retention on prior tasks and its ability to learn new ones