모델 병합 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델 병합은 주로 무엇을 결합합니까?
   • 여러 모델의 가중치(매개변수)
   • 여러 모델의 훈련 데이터세트
   • 추론 시 여러 모델의 출력 예측
   • 훈련에 사용되는 하드웨어 가속기
2. '작업 벡터'는 다음과 같이 가장 잘 설명됩니다.
   • 모델이 수행할 수 있는 작업 목록
   • 미세 조정된 모델의 가중치와 기본 모델의 가중치 간의 차이
   • 작업에 대한 입력 토큰의 벡터
   • 단일 훈련 단계 동안 계산된 기울기
3. In the described weight-space merging methods, what can be avoided?
   • Evaluation of the merged checkpoint
   • Compatibility requirements between model weights
   • Additional gradient training and access to the original training data
   • Testing the result on intended tasks
4. How do TIES-Merging and DARE differ in addressing parameter interference?
   • Both use the same sign-voting method and differ only in scale
   • DARE uses prompt engineering while TIES retrains on joint data
   • Both average model outputs instead of changing weights
   • They use different techniques: TIES resolves sign conflicts, while DARE drops and rescales task-vector entries
5. 두 모델이 성공적으로 병합되기 위한 주요 전제 조건은 다음과 같습니다.
   • 동일한 아키텍처를 공유하고 일반적으로 공통 기본 모델에서 파생됩니다.
   • 동일한 데이터로 학습됨
   • 정확히 동일한 수의 학습 단계를 갖습니다.
   • 동일한 토크나이저 어휘 크기만 사용
6. In task arithmetic, what do coefficients control when combining task vectors?
   • Which tokenizer each checkpoint must use
   • How strongly each parameter-change vector contributes to the merged checkpoint
   • How many training examples are generated
   • Whether an evaluation set is required
7. What are the three main stages named by TIES-Merging?
   • Tokenize text, infer emotions, and export audio
   • Quantize weights, shard GPUs, and route network packets
   • Trim small changes, elect a sign direction, then merge aligned parameter updates
   • Train a reward model, collect labels, and run PPO
8. Why should teams evaluate each task after a model merge?
   • Merging guarantees every benchmark improves
   • Evaluation is needed only to calculate the file size
   • A merged model cannot be run without retraining
   • Combining weight updates can create interference or reduce performance on a task