선형 프로빙 및 동결 피쳐 평가 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 표준 선형 프로브에서 훈련 중에 어떤 매개변수가 업데이트됩니까?
   • 상단에는 새로 추가된 선형 분류기만
   • 전체 백본과 선형 레이어
   • 분류기는 고정된 채로 두고 백본만
   • 임베딩 레이어와 최종 어텐션 블록
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. 전체 미세 조정과 비교할 때 선형 프로빙은 다음과 같은 점에서 주로 매력적입니다.
   • 모든 작업에서 더 정확함
   • 배포에서 더 나은 일반화 보장
   • 컴퓨팅 및 메모리 비용이 저렴하고 기능 품질에 대해 더 명확하게 읽을 수 있습니다.
   • 사전 훈련된 모델을 사용하는 유일한 방법
4. 변압기를 조사할 때 일반적인 경험적 발견은 다음과 같습니다.
   • 최종 레이어는 항상 최고의 프로브 정확도를 제공합니다.
   • 프로빙은 컨벌루션 네트워크에서만 작동합니다.
   • 레이어 선택은 프로브 결과에 영향을 미치지 않습니다.
   • 중간 레이어는 종종 전송을 위한 마지막 레이어보다 성능이 뛰어납니다.
5. 벤치마킹 외에도 선형 프로브는 다음과 같은 해석 가능성에 점점 더 많이 사용되고 있습니다.
   • 진실성과 같은 개념이 숨겨진 상태로 인코딩되어 있는지 감지
   • 모바일 배포를 위한 모델 압축
   • 사전 훈련 중 옵티마이저 교체
   • 새로운 훈련 데이터를 자동으로 생성
6. 높은 프로브 정확도를 해석할 때 주요 방법론적 위험은 다음과 같습니다.
   • 백본은 비밀리에 훈련을 계속합니다
   • 프로브는 실제 개념이 아닌 허위 상관 관계를 활용하고 있을 수 있습니다.
   • 선형 프로브는 과적합할 수 없습니다.
   • 교차 엔트로피 손실을 사용할 수 없습니다.
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison