접두사 튜닝 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 접두사 튜닝은 실제로 무엇을 훈련합니까?
   • 모델의 모든 변압기 무게
   • 모델의 출력 어휘 레이어만
   • 각 작업에 대한 별도의 모델 사본
   • 모델이 고정된 상태로 유지되는 작은 연속 접두사 벡터 세트
2. 접두사 벡터는 어디에 삽입됩니까?
   • 모든 관심 계층의 키와 값
   • 최종 출력 레이어에서만
   • 손실함수에만 들어감
   • 삽입하기 전에 토크나이저에 넣기
3. 누가 접두사 튜닝을 도입했으며 대략 언제 도입했습니까?
   • 2018년 OpenAI
   • 2021년 스탠포드 대학의 Li와 Liang
   • 2015년 Google
   • 2023년에 Meta
4. 많은 작업을 처리하는 데 접두사 조정이 매력적인 이유는 무엇입니까?
   • 학습 데이터가 전혀 필요하지 않습니다.
   • 하드웨어 없이 추론을 실행합니다.
   • 각 작업에는 전체 모델 복사본 대신 작은 접두사만 필요합니다.
   • 모든 작업에 대한 기본 모델을 한 번에 영구적으로 다시 작성합니다.
5. 접두사 훈련을 안정화하기 위해 자주 사용되는 방법은 무엇입니까?
   • 매 단계마다 학습률을 두 배로 늘립니다.
   • 접두사 고정 및 모델 학습
   • 모든 주의 레이어 제거
   • 나중에 폐기되는 작은 피드포워드 네트워크를 통해 접두사 다시 매개변수화
6. 접두사 튜닝은 어떤 작업에서 특히 빛을 발했나요?
   • 테이블-텍스트 및 요약과 같은 자연어 생성
   • 이미지 분류
   • 오디오 파형 합성
   • 데이터베이스 인덱싱
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • 약 50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter