훈련 데이터 귀인 퀴즈를 위한 영향 함수

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 영향 기능이 근사하는 반사실적 질문은 무엇입니까?
   • 훈련 예제를 제거하거나 가중치를 높인 경우 테스트 포인트의 손실이 어떻게 변하는가
   • 모델이 평균적으로 얼마나 정확한지
   • 모델의 학습 속도
   • 모델에 포함된 매개변수 수
2. 대규모 모델에 대한 정확한 영향 계산을 어렵게 만드는 수학적 개체는 무엇입니까?
   • 소프트맥스 함수
   • 손실의 역 헤세 행렬
   • 학습률 일정
   • 배치 크기
3. 잘 알려진 2017년 논문에서 누가 영향력 기능을 현대 딥러닝에 적용했습니까?
   • 굿펠로우와 벤지오
   • Vaswaniet al.
   • 코와 리앙
   • 힌튼과 르쿤
4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
   • The point was not in the training data
   • Upweighting the point is estimated to increase test loss
   • The point has no relationship to the test example
   • Upweighting the point is estimated to lower test loss, so it is helpful
5. Anthropic는 영향 기능을 대규모 언어 모델로 확장하기 위해 어떤 근사치를 사용했나요?
   • EK-FAC(크로네커 인자 곡률)
   • 탈락
   • 빔 검색
   • 혼동
6. Anthropic의 대규모 연구를 통해 영향력 있는 사례에 대해 무엇을 알아냈나요?
   • 항상 출력의 정확한 복사본입니다.
   • 동일한 문구보다는 추상적인 패턴을 공유하는 경우가 많습니다.
   • 무작위로 배포됩니다.
   • 첫 번째 훈련 예시만 중요합니다.
7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
   • The test set’s token count
   • A random forest over training labels
   • The inverse Hessian of the training loss
   • The model’s output vocabulary size
8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
   • It was guaranteed to be a duplicate
   • It had no relationship to the model
   • It necessarily caused the model to overfit
   • It had a helpful influence on that test point under the approximation