중첩과 다의미성 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 신경망에서 '중첩'은 무엇을 의미하나요?
   • 뉴런의 방향을 겹쳐서 존재하는 뉴런보다 더 많은 특징을 표현
   • 여러 모델을 서로 겹쳐 쌓기
   • 모델을 두 번 실행하고 평균화
   • 훈련 중 입력에 노이즈 추가
2. 특징 간섭에도 불구하고 중첩이 잘 작동하는 조건은 무엇입니까?
   • 항상 조밀하게 활성화되는 기능
   • 기능이 드물기 때문에 동시에 활성화되는 기능이 거의 없습니다.
   • 긍정적인 활성화만 사용하기
   • 특징보다 더 많은 뉴런을 가짐
3. '다의미적' 뉴런이란 무엇입니까?
   • 결코 활성화되지 않는 뉴런
   • 출력층에서만 사용되는 뉴런
   • 서로 관련되지 않은 많은 개념에 반응하는 뉴런
   • 연결이 없는 뉴런
4. 2022년에 이 현상에 대한 통제된 연구를 도입한 Anthropic 논문은 무엇입니까?
   • 주의가 필요한 전부입니다
   • 심층 CNN을 사용한 ImageNet 분류
   • Deep RL로 Atari 재생
   • 중첩의 장난감 모델
5. 레이어가 차원보다 더 많은 피처를 저장해야 한다면 기하학적으로 피할 수 없는 것은 무엇입니까?
   • 일부 피처는 겹치는 비직교 방향을 공유해야 합니다.
   • 피처는 모두 완벽하게 직교 상태를 유지할 수 있습니다.
   • 네트워크가 충돌해야 합니다
   • 모든 기능이 동일해짐
6. 중첩이 해석을 어렵게 만드는 이유는 무엇입니까?
   • 모델 실행 속도가 느려집니다.
   • 단일 뉴런은 더 이상 단일 개념에 명확하게 매핑되지 않습니다.
   • 모델에서 모든 기능을 제거합니다.
   • 입력 레이어에만 영향을 미칩니다.
7. Why does sparse feature activity reduce interference when more features than dimensions are represented?
   • Sparse activity makes all feature directions orthogonal
   • It increases the number of neurons automatically
   • Fewer features are active at the same time, so overlapping directions collide less often
   • It removes the need for nonlinear computation
8. What does an antipodal pair of feature directions look like geometrically?
   • Two vectors at a right angle in separate dimensions
   • Two vectors with identical directions and magnitudes
   • A vector with no coordinates
   • Two directions that point opposite ways along the same line