Logit Lens 및 Tuned Lens 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 로짓 렌즈의 기능은 무엇입니까?
   • 모델의 최종 포함 해제를 중간 숨겨진 상태에 적용하여 레이어별 예측을 읽습니다.
   • 변환기에 새 레이어를 추가합니다.
   • 모델의 관심을 제거합니다.
   • 인간 언어 간 번역
2. 조정 렌즈가 원시 로짓 렌즈에 추가되는 주요 개선 사항은 무엇입니까?
   • 더 큰 어휘를 사용합니다.
   • 숨겨진 상태를 최종 기반으로 변환하기 위해 작은 레이어별 아핀 맵을 훈련합니다.
   • 언베딩이 필요하지 않습니다.
   • 이미지 모델에서만 작동합니다.
3. 변압기의 어떤 구조가 이러한 렌즈를 가능하게 합니까?
   • 컨볼루셔널 필터
   • 토크나이저
   • 나중에 포함 해제 시 로지트에 투영되는 추가 잔여 스트림
   • 옵티마이저의 학습률
4. 최초의 로짓 렌즈를 누가, 대략 언제 도입했습니까?
   • 2015년 딥마인드
   • 2018년 OpenAI
   • 2012년 Google
   • 2020년 향수병
5. 로짓 렌즈는 최종 답인 '결정화'를 어디에서 자주 보입니까?
   • 중~후기층에는
   • 맨 첫 번째 레이어에만
   • Never 답은 한꺼번에 나와
   • 모델 외부에서 완전히
6. 원시 로짓 렌즈가 초기 레이어에서 신뢰할 수 없는 이유는 무엇입니까?
   • 초기 레이어에는 뉴런이 없습니다.
   • 해당 숨겨진 상태는 아직 포함 해제가 기대하는 최종 출력 기준과 일치하지 않습니다.
   • 초기 레이어는 예측에 사용되지 않습니다.
   • 포함 해제 행렬은 무작위입니다.
7. What does the model’s final unembedding map a residual-stream vector into?
   • A new set of transformer layers
   • A similarity graph over training examples
   • Vocabulary logits that can be converted into token probabilities
   • A gradient clipping threshold
8. Why can an early-layer raw logit-lens prediction be misleading?
   • The layer has already generated the full answer
   • The tokenizer has been removed
   • The unembedding only works on images
   • The intermediate state may not yet be aligned with the final output basis