해석 가능성 퀴즈를 위한 희소 자동 인코더

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델 활성화에 대해 희소 오토인코더를 훈련하는 주요 목적은 무엇입니까?
   • 얽힌 활성화를 해석 가능하고 대부분 격리된 기능으로 분해합니다.
   • 모델을 압축하여 더 빠르게 실행하려면
   • 언어 간 텍스트를 번역하려면
   • 벤치마크에서 모델의 정확도를 높이려면
2. 희소성 패널티가 은닉 유닛 활성화에 어떤 영향을 미칩니까?
   • It guarantees each unit represents exactly one concept
   • It encourages only a small subset of the wider hidden layer to activate for an input
   • It makes every hidden unit activate equally
   • It removes the reconstruction objective
3. 2024년에 SAE를 Claude 3 Sonnet으로 확장할 때 Anthropic는 대략 몇 개의 기능을 추출했습니까?
   • 약 500
   • 약 2,000명
   • 약 3400만
   • 약 1000억
4. '골든 게이트 Claude' 시연은 어떤 모습을 보여줬나요?
   • SAE는 이미지에 대해서만 훈련할 수 있습니다.
   • 모델이 더 이상 텍스트를 생성할 수 없다는 점
   • 해당 기능은 출력에 영향을 미치지 않습니다.
   • 단일 특성을 높게 고정하면 모델의 동작이 조정됩니다.
5. SAE의 숨겨진 레이어가 일반적으로 재구성하는 활성화보다 훨씬 더 넓은 이유는 무엇입니까?
   • 개념은 실제로 필요한 것보다 더 적은 차원에 중첩되어 있기 때문에 더 많은 단위가 개념을 풀어내는 데 도움이 됩니다.
   • 훈련 비용을 저렴하게 하기 위해
   • 더 넓은 레이어가 항상 더 정확하기 때문입니다.
   • 매개변수 수를 줄이려면
6. 현재 희소 자동 인코더의 알려진 제한 사항은 무엇입니까?
   • 경사하강법으로는 훈련할 수 없습니다.
   • 하나의 개념이 여러 개별 기능으로 분리되는 기능 분할
   • 컨볼루셔널 네트워크에서만 작동합니다.
   • 사람이 라벨링을 할 필요가 없습니다.
7. Which two objectives are commonly combined when training a sparse autoencoder?
   • A policy gradient and value loss
   • A next-token loss and a contrastive loss
   • Reconstruction error and a penalty on hidden activations
   • A calibration error and classification accuracy
8. What does a TopK sparse autoencoder do to encourage sparsity?
   • Keeps the K largest input pixels and discards the decoder
   • Sets all encoder weights to zero
   • Trains K different tokenizers
   • Keeps only the K largest hidden activations for an input