활성화 조정 및 표현 엔지니어링 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델 작동의 어느 시점에서 활성화 스티어링이 개입합니까?
   • 추론 시 숨겨진 활성화를 수정하여
   • 사전 훈련 중에만
   • 데이터 수집 중
   • 출력 텍스트가 인쇄된 후에만
2. 스티어링 벡터는 일반적으로 어떻게 계산됩니까?
   • 행렬을 무작위로 초기화함으로써
   • 대조되는 긍정적 프롬프트와 부정적인 프롬프트에 대한 활성화 간의 평균 차이
   • 모델에서 레이어를 삭제하여
   • 프롬프트에서 토큰을 계산하여
3. 활성화 조향이 작동하는 이유의 기초가 되는 가설은 무엇입니까?
   • 모델이 데이터를 일반 텍스트로 저장한다는 아이디어
   • 모든 뉴런이 동일하다는 믿음
   • 많은 특징이 대략 선형 방향이라는 선형 표현 가설
   • 모델이 개념을 표현할 수 없다는 주장
4. 스티어링 벡터의 스케일링 계수는 무엇을 제어합니까?
   • 모델의 어휘 크기
   • 모델의 레이어 수
   • 훈련 학습률
   • 행동이 선택한 방향으로 얼마나 강력하게 추진되는지
5. 모델을 너무 공격적으로 조종할 때 알려진 위험은 무엇입니까?
   • 출력 일관성 및 기능이 저하될 수 있음
   • 모델이 자동으로 학습됩니다.
   • 파일 크기가 걷잡을 수 없이 커집니다.
   • 가중치를 영구적으로 다시 작성합니다.
6. 클램핑할 해석 가능한 기능을 찾기 위해 주로 조향과 결합되는 기술은 무엇입니까?
   • JPEG 압축
   • 활성화를 기능으로 분해하는 희소 자동 인코더
   • 도메인 이름 등록
   • 디스크 조각 모음
7. How does activation steering differ from fine-tuning the model weights?
   • It retrains the model on a new labeled dataset
   • It changes the tokenizer vocabulary
   • It adds a vector to hidden activations during inference without updating the base weights
   • It replaces the attention layers with a classifier
8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
   • The vector must be an optimizer state
   • Steering always requires fine-tuning
   • A residual stream contains no features
   • The direction found from one prompt set may not generalize to other contexts